JP2011010258A - 画像処理装置、画像表示システム、画像抽出装置 - Google Patents

Abstract

【課題】背景が特定し難く、背景情報が容易に変動する環境にあっても、確実かつ簡素な方法で抽出対象を抽出することができる画像処理装置を提供する。
【解決手段】本発明の画像処理装置２は、赤外ＬＥＤ６と、赤外ＣＣＤカメラ７と、可視ＣＣＤカメラ８と、赤外画像と可視画像とに基づいて画像処理を行う画像処理部と、を備え、画像処理部が、赤外光照射時赤外画像と赤外光非照射時赤外画像との差分画像を作成する差分画像作成部と、差分画像に閾値処理を施してマスクパターンを作成するマスクパターン作成部と、可視画像とマスクパターンとを合成する合成画像作成部と、を備えている。
【選択図】図１

Description

本発明は、画像処理装置、画像表示システム、画像抽出装置に関する。

近年、ネットワークを用いた通信環境の充実により、ネットワーク経由でのリアルタイムなテレビ会議システムが普及しつつある。このようなテレビ会議システムでは、最大限の臨場感を出すため、プライベートな環境を相手に見せないようにするため、伝送データ量を削減するため、等の理由により、対象となる人物のみを切り出した映像を伝送する方式が考えられている。これを実現するために様々な手法が提案されている。

例えば、クロマキーや背景差分を利用した技術が従来から知られている。ところが、クロマキーを用いた手法では、青色等の均一な色を持った専用の背景（壁）を準備しなければならず、非常に不便である。また、背景差分を用いた手法では、例えばオフィス等の環境において背景の中で対象となる人物以外の人物が動いた場合、その人物の動きを検出してしまう等の問題がある。

そこで、上記の問題を解決する手法として、赤外光を用いた手法が２つ提案されている。
一つは、赤外光源と、ハーフミラーを介して直交配置された第１，第２のカメラと、第１のカメラの入射側に配置された赤外透過フィルターと、第２のカメラの入射側に配置された赤外カットフィルターと、を備えた画像生成装置である。この装置においては、被写体を抽出するためのマスク画像となる第１の画像を赤外光によって取得する一方、背景と被写体とを含む第２の画像を可視光によって取得し、これら画像に基づいて被写体のみを背景から抽出した画像を得ることができる（下記の特許文献１参照）。
他の一つは、赤外光によって被写体までの距離等の奥行き情報を取得し、被写体を抽出する装置である（下記の特許文献２参照）。

特開平１１−７３４９１号公報 特開平１１−９４５２０号公報

しかしながら、赤外光を用いた上記の２つの手法にもそれぞれ問題があった。
特許文献１の装置では、ハーフミラーを介して第１のカメラと第２のカメラとを直交配置する必要があるため、装置が大型化するという問題があった。また、背景の中に光源と同一波長の強い赤外光が含まれると、被写体と背景とを確実に分離できないという問題があった。
また、特許文献２の装置は、３次元位置（距離画像）の計測を目的としているため、奥行き情報を取得しているが、被写体を抽出するのに奥行き情報は必ずしも必要がなく、必要以上の演算処理により計算負荷がかかり、また不必要に高価なシステムとなってしまう。

本発明は、上記の課題を解決するためになされたものであって、背景が特定し難く、背景情報が容易に変動する環境にあっても、確実かつ簡素な方法で抽出対象を抽出することができる画像処理装置、画像表示システム、画像抽出装置を提供することを目的とする。

上記の目的を達成するために、本発明の画像処理装置は、抽出対象に向けて赤外光を照射する赤外光源と、赤外光による画像を撮像する赤外撮像手段と、可視光による画像を撮像する可視撮像手段と、前記赤外撮像手段が取得した赤外画像と前記可視撮像手段が取得した可視画像とに基づいて画像処理を行う画像処理手段と、を備え、前記画像処理手段が、前記赤外光源から前記抽出対象に向けて前記赤外光が照射されている期間に取得した赤外光照射時赤外画像と、前記赤外光が照射されていない期間に取得した赤外光非照射時赤外画像と、の差分を取ることにより差分画像を作成する差分画像作成部と、前記差分画像に閾値処理を施すことによりマスクパターンを作成するマスクパターン作成部と、前記可視画像と前記マスクパターンとを合成することにより抽出対象画像を含む合成画像を作成する合成画像作成部と、を備えたことを特徴とする。

本発明の画像処理装置は赤外光源と赤外撮像手段とを備えており、赤外撮像手段は赤外光源から抽出対象に向けて赤外光が照射されている期間に赤外光照射時赤外画像を取得する一方、赤外光が照射されていない期間に赤外光非照射時赤外画像を取得する。このとき、赤外光源に対して相対的に近い位置に存在する抽出対象からの赤外反射光は強く、離れた位置に存在する物体からの赤外反射光は弱いため、赤外光の反射強度により赤外光源から物体までの距離の類推が可能となり、その結果、抽出対象と背景との分離が可能になる。また、赤外光照射時赤外画像と赤外光非照射時赤外画像とを比較すると、反射強度の強い抽出対象の部分が大きく異なり、反射強度の弱い背景の部分はほとんど変わらないものとなる。さらに、背景に強い赤外光の部分が含まれていたとしても、その部分は赤外光照射時赤外画像と赤外光非照射時赤外画像とで変化しない。

そして、画像処理手段の差分画像作成部は、赤外光照射時赤外画像と赤外光非照射時赤外画像との差分を取り、差分画像を作成する。すると、赤外光照射時赤外画像と赤外光非照射時赤外画像とで抽出対象の部分が大きく異なり、背景の部分はほとんど変わらないため、差分を取った後は抽出対象の部分だけが赤外画像として残り、背景の部分が消去された状態の差分画像が得られる。

そして、マスクパターン作成部は、差分画像作成部が作成した差分画像に閾値処理を施すことによりマスクパターンを作成する。ここでは、例えば差分画像を構成する各画素の輝度値に着目し、輝度値が所定の閾値未満である画素（背景部分を構成する画素に対応）を黒表示とし、輝度値が所定の閾値以上である画素（抽出対象部分を構成する画素に対応）を白表示とするといった２値化を行い、黒表示の画素で構成されるマスクパターンを作成する。そして、合成画像作成部は、可視撮像手段が取得した可視画像と上記のマスクパターンとを合成することにより、可視画像からなる抽出対象画像を含み、背景部分が消去された状態の合成画像を作成する。

従来の技術では、例えば背景に光源と同一波長の強い赤外光が含まれると、抽出対象と背景とを確実に分離できないという問題があった。これに対して、本発明の画像処理装置では、赤外光照射時赤外画像と赤外光非照射時赤外画像とから差分画像を作成し、差分画像からマスクパターンを作成するという手法を用いるため、赤外光の強度や閾値処理の閾値を適切に設定することにより、新たに設けた赤外光源からの赤外反射光強度が十分に強い抽出対象と、新たに設けた赤外光源からの赤外反射光強度が十分に弱い背景とを確実に分離することができる。また、赤外光源と赤外撮像手段と可視撮像手段とを抽出対象に対して同じ側に並べて配置できるため、従来の装置のようにハーフミラー等を用いる必要がなく、装置の小型化が図れる。このように、本発明の画像処理装置によれば、背景が特定し難く、背景情報が容易に変動する環境にあっても、確実かつ簡素な方法で抽出対象が抽出され、背景部分が消去された合成画像を作成することができる。

ここで、差分画像に対する閾値処理を一つの閾値のみに基づいて行うと、必要な領域と不要な領域との輝度差が少ない場合に、必要な領域の抽出や不要な領域の除去が困難となりやすい。これを改善するための方法としては、以下の２通りが考えられる。

例えば、本発明の画像処理装置において、前記マスクパターン作成部は、前記差分画像について、第１の閾値以上の画像領域を抽出する閾値処理を施し、第１マスクを作成する処理と、前記赤外画像について、第２の閾値以下の画像領域を抽出する閾値処理を施して抽出マスクを作成し、前記抽出マスクと前記差分画像とを合成して前記差分画像から抽出差分画像を作成する処理と、前記抽出差分画像について、前記第１の閾値より小さい第３の閾値以上の画像領域を抽出する閾値処理を施し、第２マスクを作成する処理と、前記第１マスクと前記第２マスクとにより前記マスクパターンを作成する処理と、を行うことが望ましい。

または、前記マスクパターン作成部は、前記差分画像について、第１の閾値以上の画像領域を抽出する閾値処理を施し、第１マスクを作成する処理と、前記可視画像について、前記可視光の輝度における第２の閾値以下の画像領域を抽出する閾値処理を施して抽出マスクを作成し、前記抽出マスクと前記差分画像とを合成して前記差分画像から抽出差分画像を作成する処理と、前記抽出差分画像について、前記第１の閾値より小さい第３の閾値以上の画像領域を抽出する閾値処理を施し、第２マスクを作成する処理と、前記第１マスクと前記第２マスクとにより前記マスクパターンを作成する処理と、を行うことが望ましい。

これらの構成では、マスクパターン生成部が複数の閾値に基づいた閾値処理を行うことにより、精度良く抽出対象の抽出を行うこととしている。その際、マスクパターン作成部は、差分画像から低輝度画像領域に対応する領域を抽出することで、まず不要な領域の除去を行い、抽出した差分画像に対して閾値処理を行うこととしている。これにより、必要な領域と不要な領域との輝度差が少ない場合であっても、差分画像の輝度差とは異なる観点から不要な領域の除去を行うことで精度良く必要な領域の抽出を行い、良好に背景部分が消去された合成画像を作成することができる。

本発明の画像処理装置において、前記抽出対象は人物像であって、前記第２マスクとして抽出される領域は前記人物像の毛髪の領域であり、前記第３の閾値は、前記可視画像または前記赤外画像における前記毛髪の領域を抽出できるように設定されることが望ましい。
黒色の毛髪は、赤外線を吸収しやすいために赤外反射光量が少なくなりやすく、得られるマスクパターンには毛髪部分の領域が含まれやすい。すると、人物像の可視画像とマスクパターンとを合成した合成画像は、毛髪部分が除かれた人物像となってしまう。しかし、この構成によれば、毛髪の領域を抽出出来るように、毛髪の領域の光強度に基づいて第１の閾値を設定するため、毛髪の領域まで良好に抽出した合成画像を得ることができる。

本発明の画像処理装置において、前記赤外撮像手段の画像取得周期が前記可視撮像手段の画像取得周期の１／ｎ倍（ｎ：２以上の整数）であり、前記可視撮像手段の１回の画像取得周期の中で前記赤外光源をｎ回点灯または消灯させることが望ましい。
例えば赤外撮像手段の画像取得周期を可視撮像手段の画像取得周期の１／２とし、可視撮像手段の１回の画像取得周期の中で赤外光源を２回点灯または消灯させる構成とすれば、たとえ背景に光源と同一波長の強い赤外光が含まれる場合でも、任意の１画像取得周期内に取得された可視画像に対して抽出対象のみを確実に抽出することができる。
また本発明において、赤外撮像手段の画像取得周期の絶対値（時間）は特に限定されることはなく、長くても良い。しかしながら、赤外撮像手段の画像取得周期の絶対値（時間）が長すぎると、例えば背景に光源と同一波長の強い赤外光が含まれるときに背景となる物体が徐々に動いた場合など、抽出対象以外の変化した部分も抽出してしまう虞がある。
その点で、赤外撮像手段の画像取得周期は短い方が望ましい。

本発明の画像処理装置において、前記赤外撮像手段および前記可視撮像手段を、互いに異なる光軸上に配置された赤外撮像素子と可視撮像素子とで構成することができる。
この構成によれば、赤外画像専用の撮像素子と可視画像専用の撮像素子とを別個に用意すれば良いため、各撮像素子の全ての画素を赤外画像、可視画像のいずれか一方の画像専用に用いることができる。これにより、各撮像素子により得られる画像の解像度を高めることができる。

本発明の画像処理装置において、前記マスクパターン作成部が、前記閾値処理を行う閾値処理部と、前記閾値処理により得られた前記マスクパターンを、前記可視画像上での所望の抽出対象領域外の部分と重なるように空間変換処理する空間変換処理部と、を備えることが望ましい。
別体の赤外撮像素子と可視撮像素子とを異なる光軸上に配置した上記構成の場合、各撮像素子が抽出対象を撮像する角度が異なるため、赤外画像を基に作成されたマスクパターンが可視画像上で本来マスクしたい領域からずれることが考えられる。この場合、上記の空間変換処理部を備えた構成によれば、マスクパターンを、可視画像上での所望の抽出対象領域外の部分、すなわち本来マスクしたい領域と重なるように空間変換処理するため、空間変換後のマスクパターンが可視画像に対応したものとなり、抽出対象を正確に抽出することができる。

本発明の画像処理装置において、前記赤外撮像手段および前記可視撮像手段を、赤外・可視撮像素子で構成し、前記赤外・可視撮像素子が、赤外画像を撮像するための赤外画像撮像用画素と、可視画像を撮像するための複数の画素からなる複数の可視画像撮像用画素と、を有する構成とすることができる。
この構成によれば、赤外撮像手段と可視撮像手段とが一体の赤外・可視撮像素子であり、赤外画像を撮像する角度と可視画像を撮像する角度とが一致する。そのため、上記のマスクパターンのずれが発生せず、空間変換処理が不要となる。これにより、短い処理時間でマスクパターンを作成でき、画像処理全体に要する時間を短縮できる。また、赤外撮像手段と可視撮像手段が一体の撮像素子で構成されるため、装置の小型化が図れる。

本発明の画像処理装置において、前記赤外・可視撮像素子が、赤外光を透過する画素領域と可視光に含まれる各色光を透過する画素領域とを含む帯域透過フィルターを備えた構成としても良い。
この構成によれば、上記の画素構成を有する赤外・可視撮像素子を容易に得ることができる。

本発明の画像処理装置において、前記赤外撮像手段を赤外撮像素子で構成するとともに、前記可視撮像素子を、可視光に含まれる色光毎の画像を取得する複数の色光撮像素子で構成し、前記赤外撮像素子と前記複数の色光撮像素子とが、同一の光軸から分岐した光軸上にそれぞれ配置された構成としても良い。
この構成によれば、上述の別体の撮像素子を備えた構成と同様、赤外画像専用の撮像素子と各色光画像専用の撮像素子とを別個に用意すれば良いため、画像の解像度を高めることができる。それに加えて、上述の一体の赤外・可視撮像素子を備えた構成と同様、赤外画像を撮像する角度と可視画像を撮像する角度とが一致するため、空間変換処理が不要となり、画像処理全体に要する時間を短縮できる。

本発明の画像表示システムは、前記本発明の画像処理装置と、前記画像処理装置によって得られた抽出画像を表示する表示装置と、を備えたことを特徴とする。
本発明の画像表示システムによれば、前記本発明の画像処理装置を備えたことにより、背景が容易に変動する状況であっても、確実かつ簡素な方法で背景部分が消去された合成画像を作成でき、テレビ会議システム等に用いて好適な画像表示システムを構築することができる。

本発明の画像抽出装置は、抽出対象に向けて赤外光を照射する赤外光源と、赤外光による画像を撮像する赤外撮像手段と、前記赤外撮像手段が取得した赤外画像に基づいて画像処理を行う画像処理手段と、を備え、前記画像処理手段が、前記赤外光源から前記抽出対象に向けて前記赤外光が照射されている期間に取得した赤外光照射時赤外画像と、前記赤外光が照射されていない期間に取得した赤外光非照射時赤外画像と、の差分を取ることにより、差分画像からなる抽出画像を作成することを特徴とする。
本発明の画像抽出装置によれば、上記本発明の画像処理装置と同様、背景が容易に変動する状況であっても、確実かつ簡素な方法で抽出対象のみを抽出することができる。

本発明の第１実施形態の画像表示システムの概略構成図である。 第１実施形態の画像表示システムの制御装置の構成を示すブロック図である。 第１実施形態の画像表示システムの画像処理手順を示すフローチャートである。 各撮像素子と赤外光源の動作を示すタイミングチャートである。 画像処理の各工程における画像の例を示す図である。 第２実施形態の画像表示システムの制御装置の構成を示すブロック図である。 第２実施形態の画像表示システムの閾値処理について説明する説明図である。 第２実施形態の画像表示システムの画像処理手順を示すフローチャートである。 第２実施形態の画像表示システムによるマスクパターン作成の模式図である。 第３実施形態の画像表示システムで用いる撮像素子を示す図である。 第４実施形態の画像表示システムで用いる撮像素子を示す図である。

［第１実施形態］
以下、本発明の第１実施形態について、図１〜図５を用いて説明する。
本実施形態の画像表示システムは、例えば相手方の画像をスクリーンに表示して会議を行う際に用いるテレビ会議システム等に用いて好適なシステムの構成例である。

本実施形態の画像表示システム１は、図１に示すように、使用者Ａ（抽出対象）と背景Ｂの画像を撮像して画像処理を行う画像処理装置２と、相手方の画像を表示するためのプロジェクター３（表示装置）およびスクリーン４を備えている。本実施形態では、相手方も同一の画像表示システムを有しており、使用者Ａの画像は相手方の画像表示システムのプロジェクターに伝送され、表示されるものとする。なお、表示装置としては、プロジェクター３に限らず、例えばテレビジョン、パーソナルコンピューターのディスプレイ等、いかなる表示装置を用いても良い。また、画像を相手方に伝送する手段についても、一般的に用いられている種々の手段を用いることができる。

画像処理装置２は、赤外ＬＥＤ６（Light Emitting Diode）（赤外光源）と、赤外ＣＣＤ（Charge Coupled Device）カメラ７（赤外撮像手段）と、可視ＣＣＤカメラ８（可視撮像手段）と、制御装置９と、を備えている。赤外ＬＥＤ６は、使用者Ａに向けて赤外光を照射するためのものである。赤外ＣＣＤカメラ７は、赤外光による画像を撮像するものであり、可視ＣＣＤカメラ８は、可視光による画像を撮像するものである。制御装置９は、赤外ＬＥＤ６の駆動を制御するとともに、後述の画像処理部を含み、画像処理を行うものである。赤外ＣＣＤカメラ７と可視ＣＣＤカメラ８とは隣接して異なる光軸上に配置されている。

制御装置９は、図２に示すように、赤外ＬＥＤ駆動部１１と、同期信号生成部１２と、画像処理部１３（画像処理手段）と、を備えている。赤外ＬＥＤ駆動部１１は、赤外ＬＥＤ６を駆動する際の駆動信号を生成し、その駆動信号を赤外ＬＥＤ６に向けて出力する機能を有する。同期信号生成部１２は、赤外ＬＥＤ６と赤外ＣＣＤカメラ７、可視ＣＣＤカメラ８の相互の動作を同期させる同期信号を生成し、これらに向けて出力する機能を有する。画像処理部１３は、赤外ＣＣＤカメラ７が取得した赤外画像と可視ＣＣＤカメラ８が取得した可視画像とに基づいて画像処理を行うものである。

画像処理部１３は、赤外ＣＣＤカメラ７、可視ＣＣＤカメラ８の各々に対応した画像取得部１５，１６と、差分画像作成部１７と、マスクパターン作成部１８と、合成画像作成部１９と、を備えている。画像取得部１５，１６は、各ＣＣＤカメラ７，８から得られた画像データを読み出す機能を有しており、読み出した画像データを記憶するメモリーを含んでいる。差分画像作成部１７は、赤外光照射時の赤外画像と赤外光非照射時の赤外画像との差分画像を作成する機能を有する。マスクパターン作成部１８は、差分画像作成部１７が作成した差分画像からマスクパターンを作成する機能を有する。合成画像作成部１９は、マスクパターン作成部１８が作成したマスクパターンと可視画像とを合成し、合成画像を作成する機能を有する。

さらに、マスクパターン作成部１８は、閾値処理部２０と、空間変換処理部２１と、を備えている。閾値処理部２０は、差分画像作成部１７が作成した差分画像に閾値処理を施す機能を有する。空間変換処理部２１は、閾値処理部２０により得られたマスクパターンを、可視画像上での所望の抽出対象領域外の部分と重なるように空間変換処理を施す機能を有する。

以下、制御装置９の動作を、図３のフローチャートに沿って説明する。
なお、以下の図５（Ａ）〜（Ｈ）に示す画像例は、本発明者が本実施形態と同等のシステムを用いて実際に取得したものである。
本実施形態において、可視ＣＣＤカメラ８が得た画像データは画像取得部１６によって読み出され、画像取得部１６は、例えば６０Ｈｚの周波数、１／６０秒の画像取得周期で可視画像を取得する（図３のステップＳ１）。

図５（Ａ）は、可視ＣＣＤカメラ８から得られた可視画像の一例である。この可視画像は実際にはフルカラーで表現されており、抽出対象である使用者Ａの画像の後に背景Ｂが写り込んでいるのがわかる。

一方、赤外ＣＣＤカメラ７が得た画像データは画像取得部１５によって読み出され、画像取得部１５は、１２０Ｈｚの周波数、１／１２０秒の画像取得周期で画像を取得する。
すなわち、赤外ＣＣＤカメラ７側の画像取得部１５は、可視ＣＣＤカメラ８側の画像取得部１６の２倍の周波数、１／２の画像取得周期で画像を取得する。また、赤外ＣＣＤカメラ７が赤外画像を取得する間、赤外ＬＥＤ６には赤外ＬＥＤ駆動部１１から駆動信号が入力され、赤外ＬＥＤ６は、１２０Ｈｚの周波数で点灯、または消灯を交互に繰り返す。ここで、赤外ＬＥＤの１周期とは、１回の点灯または１回の消灯、のいずれかが行われる時間を指すこととする。

このとき、図２に示す同期信号生成部１２から出力された同期信号を受けて、図４に示すように、可視ＣＣＤカメラ８による画像取得、赤外ＣＣＤカメラ７による画像取得、赤外ＬＥＤ６の発光動作が所定のタイミングで同期して実行される。すなわち、赤外ＬＥＤ６が１２０Ｈｚの周波数で点灯、または消灯を交互に繰り返しているので、赤外ＬＥＤ６が点灯し、使用者Ａに赤外光が照射されている期間に同期して、赤外ＣＣＤカメラ７の画像取得部１５が赤外画像を取得する（図３のステップＳ２）。

図５（Ｂ）は、赤外ＬＥＤ６から赤外光が照射された状態で赤外ＣＣＤカメラ７から得られた赤外画像の一例である。図から判るように、使用者Ａからの反射のみならず、背景の中にも強い赤外光の部分が含まれており、赤外画像を単純に取得しただけでは対象物の抽出は困難である。

続いて、赤外ＬＥＤ６が消灯し、使用者Ａに赤外光が照射されていない期間に同期して、赤外ＣＣＤカメラ７の画像取得部１５が赤外画像を取得する（図３のステップＳ３）。
なお、以下では説明の便宜上、赤外光が照射されている期間の赤外画像を「第１の赤外画像（赤外光照射時赤外画像）」と称し、赤外光が照射されていない期間の赤外画像を「第２の赤外画像（赤外光非照射時赤外画像）」と称する。このようにして、可視ＣＣＤカメラ８の画像取得部１６が可視画像を１回取得する期間（以下、フレーム期間とも言う）内に、赤外ＬＥＤ６が２回点灯または消灯し、赤外ＣＣＤカメラ７の画像取得部１５が第１の赤外画像と第２の赤外画像とを１回ずつ取得する。後述するように、ここで得られた第１の赤外画像、第２の赤外画像は、可視ＣＣＤカメラ８の１フレーム期間におけるマスクパターンを作成するのに用いられる。

図５（Ｃ）は、赤外ＬＥＤ６の消灯時に赤外ＣＣＤカメラから得られた赤外画像の一例である。図５（Ｂ）で強い反射強度に表現されていた顔の表面や服の部分も図５（Ｃ）では弱い反射強度に変化しているが、背景の部分は図５（Ｂ）の状態から変化していない。

次に、差分画像作成部１７が、上記の第１の赤外画像と第２の赤外画像との差分を取り、差分画像を作成する（図３のステップＳ４）。

図５（Ｄ）は、図５（Ｂ）に示す第１の赤外画像と図５（Ｃ）に示す第２の赤外画像の２枚の赤外画像から得られた差分画像の一例である。主に顔や身体の正面部分が強い反射強度に、その周辺が中間の反射強度に、それ以外の部分が弱い反射強度に表現されている。特に、背景の部分は黒色１色で塗りつぶされた状態となり、使用者Ａの後に写り込んでいた背景Ｂは強い赤外光が見られた部分を含めて消えている。

赤外ＬＥＤ６と赤外ＣＣＤカメラ７は抽出対象を抽出するために用いているが、自然界には太陽光などの赤外光を含む光が存在するため、赤外ＬＥＤ６から赤外光を照射しただけでは抽出対象を抽出することは不可能である。そこで、赤外光を照射していない期間にも赤外ＣＣＤカメラ７で赤外画像を取得し、赤外光を照射した期間の赤外画像との差分を取れば、図５（Ｄ）に示したように、赤外光の反射強度が強い部分を持つ背景を含む画像から、赤外光の反射光強度が強い抽出対象を正確に分離することができる。

次に、閾値処理部２０は、差分画像作成部１７が作成した差分画像に閾値処理を施すことにより元マスクパターンを作成する（図３のステップＳ５）。具体的には、例えば差分画像を構成する各画素の輝度値に着目し、輝度値が所定の閾値未満である画素（背景部分を構成する画素に対応）を黒表示とし、輝度値が所定の閾値以上である画素（抽出対象部分を構成する画素に対応）を白表示とするといった２値化を行い、黒表示の画素で構成される元マスクパターンＣを作成する。

図５（Ｅ）は、図５（Ｄ）の差分画像を閾値処理して得られた元マスクパターンＣの一例である。本実施形態の場合、背景の部分に加えて髪の毛の部分も元マスクパターンＣの一部になっている。

次に、空間変換処理部２１は、閾値処理により得られた元マスクパターンＣを、可視画像上での所望の抽出対象領域外の部分と重なるように空間変換処理し、マスクパターンＤを作成する（図３のステップＳ６）。この空間変換処理は、空間変換処理部２１に予め記憶させておいた座標情報に基づき、周知の演算方法により行うことができる。

図５（Ａ）と図５（Ｂ）を比較すると判るように、本実施形態では赤外ＣＣＤカメラ７と可視ＣＣＤカメラ８とが異なる光軸上に配置されているため、各ＣＣＤカメラ７，８が抽出対象を撮像する角度が若干異なる。したがって、赤外画像を基に作成された元マスクパターンＣは、可視画像上で本来マスクしたい領域からずれることになる。したがって、上記の空間変換処理を行えば、マスクパターンＤが可視画像上での所望の抽出対象領域外の部分、すなわち本来マスクしたい領域と重なるため、抽出対象を正確に抽出することができる。

図５（Ｆ）は、図５（Ｅ）の元マスクパターンＣを空間変換処理して得られたマスクパターンＤの一例である。

次に、合成画像作成部１９は、図５（Ｆ）に示すマスクパターンＤから、対象領域が正確に抽出できるように髪の毛の領域等を補正した図５（Ｇ）に示すマスクパターンＥを作成した後、可視ＣＣＤカメラ８が取得した可視画像と上記のマスクパターンとを合成する。これにより、可視画像からなる抽出対象画像を含み、背景の部分が消去された状態の合成画像を作成し（図３のステップＳ７）、画像処理部１３から出力する（図３のステップＳ８）。

図５（Ｈ）は、図５（Ａ）の可視画像と図５（Ｇ）のマスクパターンＥを合成して得られた抽出画像の一例である。抽出対象がフルカラーで表現され、背景の部分が黒で塗りつぶされた状態の合成画像が得られた。

本実施形態の画像表示システム１では、赤外光照射時の第１の赤外画像と赤外光非照射時の第２の赤外画像とから差分画像を作成し、差分画像からマスクパターンを作成するという手法を用いている。そのため、照射する赤外光の強度や閾値処理の閾値を適切に設定することにより、赤外反射光強度が十分に強い抽出対象と赤外反射光強度が十分に弱い背景とを確実に分離することができる。また、赤外ＬＥＤ６と赤外ＣＣＤカメラ７と可視ＣＣＤカメラ８とを抽出対象に対して同じ側に並べて配置できるため、従来の装置のようにハーフミラー等を用いる必要がなく、装置の小型化が図れる。このように、本実施形態の画像表示システム１によれば、背景が特定し難く、背景情報が容易に変動する環境にあっても、確実かつ簡素な方法で抽出対象が抽出され、背景部分が消去された合成画像を作成することができる。

また、本実施形態では赤外ＣＣＤカメラ７の画像取得周期を可視ＣＣＤカメラ８の画像取得周期の１／２とし、可視ＣＣＤカメラ８の１フレーム期間の中で赤外ＬＥＤ６を２回点灯または消灯させる構成とした。そのため、たとえ背景に光源と同一波長の強い赤外光が含まれるときに背景となる物体が徐々に動いたとしても、その人物が１フレーム期間より短い時間で画面を出入りする程すばやく動くのは不可能であるから、その人物が抽出されることはなく、任意の１フレーム期間内に取得された可視画像に対して抽出対象のみを確実に抽出することができる。

また、本実施形態では、互いに異なる光軸上に配置された赤外ＣＣＤカメラ７と可視ＣＣＤカメラ８とを用いており、赤外画像専用のＣＣＤカメラと可視画像専用のＣＣＤカメラとを別個に用意すれば良いため、各ＣＣＤカメラ７，８の全ての撮像素子の画素を赤外画像、可視画像のいずれか一方の画像専用に用いることができる。これにより、各ＣＣＤカメラ７，８により得られる画像の解像度を高めることができる。

なお、本実施形態において、使用者Ａ（抽出対象）の位置が奥行き方向に変化する場合には、赤外ＬＥＤ６からの赤外光の照射量を適宜変化させる、もしくは、マスクパターンを作成する際の閾値の設定値を適宜変更する、などの方法を採れば良い。また、抽出する予定にない人物が背景に入り込んだ際にも、赤外光の照射量の設定、閾値の設定を最適化することにより、確実なマスク処理を行うことができる。本実施形態の画像表示システム１によれば、マスクパターンには空間変換処理を施しているが、可視画像に対してはマスク処理を行っただけであるから、偽りのない自然な表情で使用者Ａの画像を伝送することができる。

［第２実施形態］
以下、本発明の第２実施形態について、図６から図９を用いて説明する。
本実施形態の画像表示システムの基本構成は第１実施形態と同様であり、マスクパターンを作成する方法が第１実施形態と異なるのみである。
したがって、画像表示システムの基本構成の説明は省略し、マスクパターンの作成に係わる部分のみを説明する。

第１実施形態との違いを概略すると、第１実施形態の画像表示システムでは、図５（Ｅ）に示したように背景の部分に加えて髪の毛の部分も元マスクパターンの一部になっており、後の画像処理で対象領域が正確に抽出できるように髪の毛の領域等を補正することとした。対して本実施形態では、閾値処理によって、髪の毛の領域に対応する差分画像を別途作成し、確実に髪の毛の部分も除いたマスクパターンを作成することとしている。以下、順に説明する。

図６は、本実施形態の画像表示システムが有する制御装置の構成を示すブロック図であり、図２に対応する図である。図に示すように、本実施形態の制御装置９では、画像取得部１６で取得する可視画像のデータが、マスクパターン作成部１８が有する閾値処理部２０に入力され、マスクパターンの作成時の閾値処理に利用する構成となっている。

図７は、本実施形態の閾値処理について説明する説明図である。図７（Ａ）は、可視ＣＣＤカメラ８から得られた可視画像の一例であり、図５（Ａ）に対応する図である。図７（Ｂ）は、赤外ＣＣＤカメラ７から得られた赤外ＬＥＤ６の点灯時画像と消灯時画像との差分画像であり、図５（Ｄ）に対応する図である。図７（Ｃ）は、閾値処理を説明する概略図である。以下、図７（Ａ）（Ｂ）の線分Ａ−Ａ’における画像の光強度に基づいて説明する。

図７（Ａ）（Ｂ）に示すように、線分Ａ−Ａ’上には、背景部分である領域ＡＲ１，ＡＲ５、人物の髪の毛にあたる領域ＡＲ２，ＡＲ４、人物の皮膚にあたる領域ＡＲ３があり、それぞれ異なる明るさ（光強度）を示している。人物の髪の毛にあたる領域ＡＲ２，ＡＲ４は、赤外線の反射率が低いことに起因して赤外ＣＣＤカメラ７に対する赤外線の反射光量が少ない。よって、領域ＡＲ２，ＡＲ４は、本発明における低反射領域に該当する。人物の皮膚にあたる領域ＡＲ３は、赤外線の反射率が高いことに起因して赤外ＣＣＤカメラ７に対する赤外線の反射光量が多い。よって、領域ＡＲ３は、本発明における高反射領域に該当する。

これらの光強度をグラフに示すと、概ね図７（Ｃ）のようになる。グラフ上では、図７（Ａ）の線分Ａ−Ａ’における明るさであるＶＲ光強度を鎖線で、図７（Ｂ）の線分Ａ−Ａ’における明るさであるＩＲ光差分強度を実線で、それぞれ示している。領域ＡＲ１から領域ＡＲにおけるそれぞれの境（例えば、領域ＡＲ１と領域ＡＲ２との境）では明るさが不連続に変化するため、グラフでは飛び飛びの値を示している。

本実施形態の画像表示システムでは、まずＩＲ光差分強度について、第１の閾値Ｔｈ１より大きい値を示す領域のみ抽出する第１の閾値処理を行い、抽出対象のうち赤外線の反射率が高く赤外光の反射光強度が強い領域ＡＲ３を抽出する。この第１の閾値処理は、第１実施形態の画像表示システムで行う閾値処理と同様のものである。

この時、髪の毛の領域は赤外ＬＥＤ６に近接しているにもかかわらず、赤外線を吸収しやすい、即ち赤外線の反射率が所定の値より低いために赤外線の反射光量が少なくなっている。一方、背景部分の領域では赤外ＬＥＤ６からの距離が遠いため赤外線の反射光量が少なくなっている。そのため、これらの領域は光強度の差が小さく、図７（Ｂ）に示すＩＲ光差分画像では、髪の毛の領域と背景部分の領域との間の光強度の差が少なくなりやすい。すると、図７（Ｂ）において、髪の毛の領域（領域ＡＲ２，ＡＲ４）と背景部分（領域ＡＲ１，ＡＲ５）とを切り離すような閾値設定を行うことが困難となりやすい。また、仮に髪の毛の領域と背景部分の領域とを切り離すような閾値を設定したとすると、髪の毛の領域よりも明るい領域はすべて切り出すようなマスクパターンとなるため、不要な部分をノイズとして含みやすい。

そこで本実施形態では、図７（Ａ）に示すように、可視画像においては髪の毛の領域と背景部分の領域との境が明確であることに着目し、可視画像における光量で閾値設定を行い、髪の毛の領域と背景部分とを良好に切り離して、髪の毛の領域ＡＲ２，ＡＲ４を抽出する第２の閾値処理を行うこととしている。これは、次の事象に基づいている。抽出対象が人物像である場合においては、赤外線の反射率が低い領域は同時に可視光の反射率が低い領域である。一方、背景部分では赤外線の反射光量が少なくても、多くの可視光が可視ＣＣＤカメラ８に入射する、即ち明るい、領域がある。

すなわち第２の閾値処理では、可視光量が少ない領域を抽出するため、まず可視画像について、図７（Ｃ）のＶＲ光強度の値から第２の閾値Ｔｈ２より小さい値を示す領域を抽出する閾値処理を行い、可視画像における低輝度領域を抽出するマスクを作成する。図７（Ａ）から明らかなように、可視画像においては髪の毛の領域と背景部分の領域との境が明確であるため、容易に第２閾値Ｔｈ２を設定することができる。

次いで、作成した低輝度領域抽出用マスクと図７（Ｂ）の差分画像とを合成し、可視画像における低輝度領域を抽出したＩＲ光差分画像を作成する。その後、作成した差分画像について第３の閾値Ｔｈ３を設定し、第３の閾値Ｔｈ３より大きい値を示す領域を抽出する閾値処理を行うことにより、良好に領域ＡＲ２，ＡＲ４を抽出する。

また、ここでは可視画像に基づいて第２の閾値Ｔｈ２を用いた閾値処理を行い、低輝度領域抽出用マスクを作成することとしたが、例えば、差分を取る前のＩＲ光画像に基づいて閾値（第２の閾値）Ｔｈ４を用いた閾値処理を行い、低輝度領域抽出用マスクを作成することとしても良い。低輝度領域抽出用マスクの作成においては、可視画像に基づくかＩＲ光画像に基づくかを適宜選択し、ノイズが少なく精度が高い抽出が可能となる低輝度領域抽出用マスクを作成すると良い。例えば、図７（Ｃ）の場合には、閾値Ｔｈ４の方が抽出する光強度の幅が小さくなるため、閾値Ｔｈ２から閾値Ｔｈ４の間の光強度の領域がノイズとして含まれなくなり好ましい。

図８は、図７で示した閾値処理を説明するフローチャートであり、図３に対応する図である。図９は、本字実施形態の画像表示システムによるマスクパターン作成の模式図である。

まず制御装置９では、第１実施形態と同様にステップＳ１にて可視画像を取得し（図９（Ａ））、ステップＳ２からステップＳ４を行ってＩＲ赤外画像の差分画像を作成して（図９（Ｂ））、閾値Ｔｈ１を用いて第１の閾値処理を行い第１のマスクデータを作成する（ステップＳ５１、図９（Ｃ））。

同時に、可視画像に対して閾値Ｔｈ２を用いた閾値処置を行い、可視画像における低輝度領域抽出用マスクを作成する（ステップＳ５２）。そして、作成した抽出用マスクを用いてＩＲ画像の差分画像から可視画像における低輝度領域のみを抽出する（ステップＳ５３，図９（Ｄ））。

次いで、低輝度領域のみを抽出したＩＲ画像の差分画像に対し、閾値Ｔｈ３を用いた閾値処理を行い第２のマスクデータを作成する（ステップＳ５４，図９（Ｅ））。そして、第１のマスクデータと第２のマスクデータとを合成し、図５（Ｅ）に対応する元マスクパターンを合成する（ステップＳ５５，図９（Ｆ））。

その後は、第１実施形態と同様に、ステップＳ６において元マスクパターンを空間変換処理してマスクパターンとした後、ステップＳ７において可視画像とマスクパターンとを合成し、ステップＳ８において画像処理部１３から出力する。

このような構成の画像処理システムにおいては、第１実施形態の効果に加え、複数の閾値を設定して閾値処理を行うことにより、赤外線を吸収しやすいために赤外線の反射光量が少ない領域であっても良好に抽出したマスクパターンを作成することができる。そのため、精度良く抽出対象の抽出を行うことが可能なマスクパターンを作成し、確実かつ簡素な方法で抽出対象が抽出され、良好に背景部分が消去された合成画像を作成することができる。

［第３実施形態］
以下、本発明の第３実施形態について、図１０を用いて説明する。
本実施形態の画像表示システムの基本構成は第１実施形態と同様であり、可視撮像手段、赤外撮像手段の具体的構成が第１実施形態と異なるのみである。
したがって、画像表示システムの基本構成の説明は省略し、撮像手段に係わる部分のみを説明する。
図１０は本実施形態の赤外・可視ＣＣＤ素子を示す図であって、図１０（Ａ）は断面図、図１０（Ｂ）は拡大平面図である。

第１実施形態では、赤外撮像手段、可視撮像手段として個別の赤外ＣＣＤカメラ、可視ＣＣＤカメラを用いた。これに対し、本実施形態では、赤外撮像手段、可視撮像手段として、赤外撮像機能、可視撮像機能を兼ね備えた赤外・可視ＣＣＤ素子２３を用いている。
赤外・可視ＣＣＤ素子２３は、図１０（Ａ）に示すように、撮像素子本体２４と、撮像素子本体の光入射側に配置された帯域透過フィルター２５と、を備えている。

帯域透過フィルター２５は、撮像素子本体２４の各画素に対応して、赤外光を透過するサブ画素領域と、可視光に含まれる各色光を透過するサブ画素領域と、を有している。本実施形態の場合、帯域透過フィルター２５は、図１０（Ｂ）に示すように、赤外光（ＩＲ光）を透過するサブ画素領域ＩＲと、赤色光（Ｒ光）を透過するサブ画素領域Ｒと、緑色光（Ｇ光）を透過するサブ画素領域Ｇと、青色光（Ｂ光）を透過するサブ画素領域Ｂの４個のサブ画素領域を有し、これら４個のサブ画素領域が縦横に２個ずつ配列された形態で１個の画素を構成する。

本実施形態の場合、赤外撮像素子と可視撮像素子とが一体であるため、可視画像と赤外画像は全く同一方向から撮像した画像となる。したがって、赤外画像に基づいて作成されるマスクパターンが可視画像に対してずれることはなく、第１実施形態の空間変換処理が不要となる。空間変換処理を除く、他の画像処理の手順や方法は第１実施形態と共通であるため、説明を省略する。

本実施形態の画像表示システムによれば、空間変換処理が不要であるため、短い処理時間でマスクパターンを作成でき、画像処理全体に要する時間を短縮できる。また、赤外撮像機能と可視撮像機能を兼ね備えた一体の赤外・可視ＣＣＤ素子２３を用いたことで、装置の小型化を図ることができる。

［第４実施形態］
以下、本発明の第４実施形態について、図１１を用いて説明する。
本実施形態の画像表示システムの基本構成は第１実施形態と同様であり、可視撮像手段、赤外撮像手段の具体的構成が第１実施形態と異なるのみである。
したがって、画像表示システムの基本構成の説明は省略し、撮像手段に係わる部分のみを説明する。
図１１は本実施形態の撮像手段を示す概略構成図である。

第１実施形態では、赤外撮像手段、可視撮像手段として個別の赤外ＣＣＤカメラ、可視ＣＣＤカメラを用いた。また、第３実施形態では、赤外撮像機能、可視撮像機能を兼ね備えた赤外・可視ＣＣＤ素子を用いた。これに対して、本実施形態では、赤外撮像用に１個、可視撮像用に３個、計４個のＣＣＤ素子を用いている。具体的には、図１１に示すように、赤外光（ＩＲ光）による画像を撮像する赤外ＣＣＤ素子２７（赤外撮像素子）と、赤色光（Ｒ光）による画像を撮像する赤色光用ＣＣＤ素子２８（色光撮像素子）と、緑色光（Ｇ光）による画像を撮像する緑色光用ＣＣＤ素子２９（色光撮像素子）と、青色光（Ｂ光）による画像を撮像する青色光用ＣＣＤ素子３０（色光撮像素子）と、を備えている。

各ＣＣＤ素子２７，２８，２９，３０には同一のカメラレンズ３１を経て各画像光が入射する構成となっており、各ＣＣＤ素子２７，２８，２９，３０は、カメラレンズ３１の光軸上およびカメラレンズ３１の光軸から分岐した光軸上にそれぞれ配置されている。カメラレンズ３１の光軸上には、Ｂ光を反射し、Ｇ光、Ｒ光、ＩＲ光を透過する第１ダイクロイックミラー３２と、Ｇ光を反射し、Ｒ光、ＩＲ光を透過する第２ダイクロイックミラー３３と、Ｒ光を反射し、ＩＲ光を透過する第３ダイクロイックミラー３４と、がカメラレンズ３１側からこの順に配置されている。

この構成により、カメラレンズ３１から入射した画像光のうち、Ｂ光が第１ダイクロイックミラー３２で反射され、ミラー３５を経てＢ光用ＣＣＤ素子３０に入射される。また、第１ダイクロイックミラー３２を透過した光のうち、Ｇ光が第２ダイクロイックミラー３３で反射され、Ｇ光用ＣＣＤ素子２９に入射される。また、第２ダイクロイックミラー３３を透過した光のうち、Ｒ光が第３ダイクロイックミラー３４で反射され、Ｒ光用ＣＣＤ素子２８に入射される一方、ＩＲ光が第３ダイクロイックミラー３４を透過し、ＩＲ光用ＣＣＤ素子２７に入射される。

本実施形態の場合、４個のＣＣＤ素子２７，２８，２９，３０がカメラレンズ３１の光軸上およびカメラレンズ３１の光軸から分岐した光軸上に配置されているため、可視画像と赤外画像は全く同一方向から撮像した画像となる。したがって、第３実施形態と同様、赤外画像に基づいて作成されるマスクパターンが可視画像に対してずれることはなく、第１実施形態の空間変換処理が不要となる。空間変換処理を除く、他の画像処理の手順や方法は第１実施形態と共通であるため、説明を省略する。

本実施形態の画像表示システムによれば、空間変換処理が不要であるため、短い処理時間でマスクパターンを作成でき、画像処理全体に要する時間を短縮できる。また、赤外画像専用のＣＣＤ素子と各色光画像専用のＣＣＤ素子を別個に用意すれば良く、各ＣＣＤ素子の全画素を赤外画像専用もしくは各色光画像専用に用いることができるため、画像の解像度を高めることができる。

なお、本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲において種々の変更を加えることが可能である。例えば第１実施形態では、可視ＣＣＤカメラと赤外ＣＣＤカメラを異なる光軸上に配置し、空間変換処理を行う例を挙げたが、可視画像とマスクパターンとの多少のずれを許容できる場合には、空間変換処理を必ずしも行なわなくても良い。

また、上記実施形態では、赤外ＣＣＤカメラの画像取得周期を可視ＣＣＤカメラの画像取得周期の１／２に設定し、可視ＣＣＤカメラの１フレーム期間内に第１、第２の赤外画像を取得する構成としたが、赤外ＣＣＤカメラの画像取得周期はこれに限定されるものではない。背景が変化する虞が少ない場合には、赤外ＣＣＤカメラの画像取得周期を可視ＣＣＤカメラの画像取得周期のｍ倍（ｍ：１以上の整数）に設定し、例えば可視ＣＣＤカメラの１０フレーム期間内に第１、第２の赤外画像を取得する構成としても良い。その場合、マスクパターンを作成するのに費やせる画像処理時間が長くて良いため、画像処理部の負荷を軽減することができる。
その他、各構成要素の配置、数等の具体的な構成は、上記実施形態に限らず、適宜変更が可能である。

また、上記実施形態では本発明の画像表示システムを例示したが、上記実施形態の画像表示システムから可視ＣＣＤカメラ、画像取得部、合成画像作成部を除く構成とすれば、差分画像を作成してこれを抽出画像として出力する本発明の画像抽出装置を実現できる。
この画像抽出装置は上で例示した画像表示システムの他、例えば画像認識システム、検査・計測システム等に利用することもできる。

１…画像表示システム、２…画像処理装置、３…プロジェクター（表示装置）、６…赤外ＬＥＤ（赤外光源）、７，２７…赤外ＣＣＤカメラ（赤外撮像手段）、８…可視ＣＣＤカメラ（可視撮像手段）、１３…画像処理部（画像処理手段）、１７…差分画像作成部、１８…マスクパターン作成部、１９…合成画像作成部、２０…閾値処理部、２１…空間変換処理部、２３…赤外・可視ＣＣＤ素子（赤外・可視撮像素子）、２５…帯域透過フィルター、２７…赤外光用ＣＣＤ素子（赤外撮像素子）、２８…赤色光用ＣＣＤ素子（色光撮像素子）、２９…緑色光用ＣＣＤ素子（色光撮像素子）、３０…青色光用ＣＣＤ素子（色光撮像素子）、ＡＲ２，ＡＲ４…低反射領域、ＡＲ３…高反射領域、Ｔｈ１…第１の閾値、Ｔｈ２…第２の閾値、Ｔｈ３…第３の閾値

Claims (12)

1. 抽出対象に向けて赤外光を照射する赤外光源と、
   赤外光による画像を撮像する赤外撮像手段と、
   可視光による画像を撮像する可視撮像手段と、
   前記赤外撮像手段が取得した赤外画像と前記可視撮像手段が取得した可視画像とに基づいて画像処理を行う画像処理手段と、を備え、
   前記画像処理手段が、前記赤外光源から前記抽出対象に向けて前記赤外光が照射されている期間に取得した赤外光照射時赤外画像と、前記赤外光が照射されていない期間に取得した赤外光非照射時赤外画像と、の差分を取ることにより差分画像を作成する差分画像作成部と、前記差分画像について閾値処理を施すことによりマスクパターンを作成するマスクパターン作成部と、前記可視画像と前記マスクパターンとを合成することにより抽出対象画像を含む合成画像を作成する合成画像作成部と、を備えたことを特徴とする画像処理装置。
2. 前記マスクパターン作成部は、前記差分画像について、第１の閾値以上の画像領域を抽出する閾値処理を施し、第１マスクを作成する処理と、
   前記赤外画像について、第２の閾値以下の画像領域を抽出する閾値処理を施して抽出マスクを作成し、前記抽出マスクと前記差分画像とを合成して前記差分画像から抽出差分画像を作成する処理と、
   前記抽出差分画像について、前記第１の閾値より小さい第３の閾値以上の画像領域を抽出する閾値処理を施し、第２マスクを作成する処理と、
   前記第１マスクと前記第２マスクとにより前記マスクパターンを作成する処理と、を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記マスクパターン作成部は、前記差分画像について、第１の閾値以上の画像領域を抽出する閾値処理を施し、第１マスクを作成する処理と、
   前記可視画像について、前記可視光の輝度における第２の閾値以下の画像領域を抽出する閾値処理を施して抽出マスクを作成し、前記抽出マスクと前記差分画像とを合成して前記差分画像から抽出差分画像を作成する処理と、
   前記抽出差分画像について、前記第１の閾値より小さい第３の閾値以上の画像領域を抽出する閾値処理を施し、第２マスクを作成する処理と、
   前記第１マスクと前記第２マスクとにより前記マスクパターンを作成する処理と、を行うことを特徴とする請求項１に記載の画像処理装置。
4. 前記抽出対象は人物像であって、前記第２マスクとして抽出される領域は前記人物像の毛髪の領域であり、
   前記第３の閾値は、前記可視画像または前記赤外画像における前記毛髪の領域を抽出できるように設定されることを特徴とする請求項２または３に記載の画像処理装置。
5. 前記赤外撮像手段の画像取得周期が前記可視撮像手段の画像取得周期の１／ｎ倍（ｎ：２以上の整数）であり、前記可視撮像手段の１回の画像取得周期の中で前記赤外光源をｎ回点灯または消灯させることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記赤外撮像手段および前記可視撮像手段が、互いに異なる光軸上に配置された赤外撮像素子と可視撮像素子とで構成されていることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記マスクパターン作成部が、前記閾値処理を行う閾値処理部と、前記閾値処理により得られた前記マスクパターンを、前記可視画像上での所望の抽出対象領域外の部分と重なるように空間変換処理する空間変換処理部と、を備えたことを特徴とする請求項６に記載の画像処理装置。
8. 前記赤外撮像手段および前記可視撮像手段が赤外・可視撮像素子で構成され、
   前記赤外・可視撮像素子が、赤外画像を撮像するための赤外画像撮像用画素と、可視画像を撮像するための複数の画素からなる複数の可視画像撮像用画素と、を有することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
9. 前記赤外・可視撮像素子が、赤外光を透過する画素領域と可視光に含まれる各色光を透過する画素領域とを含む帯域透過フィルターを備えたことを特徴とする請求項８に記載の画像処理装置。
10. 前記赤外撮像手段が赤外撮像素子で構成されるとともに、前記可視撮像素子が、可視光に含まれる色光毎の画像を取得する複数の色光撮像素子で構成され、
    前記赤外撮像素子と前記複数の色光撮像素子とが、同一の光軸から分岐した光軸上にそれぞれ配置されていることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
11. 請求項１ないし１０のいずれか一項に記載の画像処理装置と、前記画像処理装置によって得られた抽出画像を表示する表示装置と、を備えたことを特徴とする画像表示システム。
12. 抽出対象に向けて赤外光を照射する赤外光源と、
    赤外光による画像を撮像する赤外撮像手段と、
    前記赤外撮像手段が取得した赤外画像に基づいて画像処理を行う画像処理手段と、を備え、
    前記画像処理手段が、前記赤外光源から前記抽出対象に向けて前記赤外光が照射された期間に取得した赤外光照射時赤外画像と、前記赤外光が照射されていない期間に取得した赤外光非照射時赤外画像と、の差分を取ることにより、差分画像からなる抽出画像を作成することを特徴とする画像抽出装置。