JP2017068810A - 静脈可視化システム、静脈可視化方法、及び、静脈可視化プログラム - Google Patents

Abstract

【課題】ハンズフリーでありながら、生体領域とその周囲の様子が違和感なく視認でき、静脈の誤検出に起因する誤穿刺がない静脈可視化システム、静脈可視化プログラム、及び、静脈可視化方法を提供する。【解決手段】情報処理装置５が、第二撮像手段４から得られる可視光画像の生体領域を、第一撮像手段３から得られる近赤外光画像の生体領域で置換した合成画像を生成する処理と、前記合成画像を非透過型ヘッドマウントディスプレイ１に出力する処理とを実行することで、生体領域は静脈が可視化された近赤外光画像であり、周囲は可視光画像である合成動画像が非透過型ヘッドマウントディスプレイ１に表示される。【選択図】 図１

Description

本発明は、生体の静脈を可視化する静脈可視化システム、静脈可視化方法、及び、静脈可視化プログラムに関する。

臨床において安全・確実な静脈穿刺は重要である。静脈穿刺の手順は、駆血帯を締め静脈を怒張させたのちに注射針を刺す。つまり、静脈を穿刺する前に静脈を目視することが必要となる。

しかし、臨床では皮下脂肪に埋もれることなどが原因で、駆血帯を締めても血管が怒張に至らずに静脈の特徴色が見られない場合がある。目視困難な静脈の穿刺成功率は目視可能な静脈より有意に低いことが報告されており、穿刺成功率と穿刺関連合併症に重大な影響を及ぼすことが知られている。

そこで、末梢静脈への穿刺成功率を上げるために、近赤外光を照射することにより静脈を可視化する技術が提案されている。下記非特許文献１には、腕部に近赤外線を照射することで静脈を可視化する機器が開示されている。使用に際しては、一人が機器を持って腕部に近赤外光を照射することで静脈を可視化し、他の一人が照射部位を目視しながら穿刺する。

また、下記非特許文献２には、近赤外光を用いたウェアラブルグラスによる静脈可視化機器が開示されている。このウェアラブルグラスは透過型ヘッドマウントディスプレイで構成されており、中央に配置された小型ディスプレイに腕部を撮像して得られる近赤外光画像が投影され、小型ディスプレイ以外の領域は外界が目視可能となっている。装着者は、小型ディスプレイに投影される映像を見ながら静脈穿刺を行い、周囲の様子については小型ディスプレイの外側から目視する。

また、下記特許文献１には、赤外光及び可視光のスペクトル分析に基づき、血管とそれ以外とでセグメント化して血管構造を検出し、血管構造の画像と可視画像とをマージする血管検出技術が開示されている。

ベインビュアフレックス，［Ｏｎｌｉｎｅ］，［２０１５年７月７日検索］、インターネット＜ＵＲＬ：http://www.starprod.co.jp/catalog/VeinViewerFlex.pdf＞ Ｅｙｅｓ−Ｏｎ Ｇｌａｓｓｅｓ，［Ｏｎｌｉｎｅ］，［２０１５年７月７日検索］、インターネット＜ＵＲＬ：http://evenamed.com/~even5672/~even5672/products/glasses＞

特表２０１２−５１１３６１号公報

しかしながら、上記非特許文献１の技術は、穿刺する際に一人が機器を持ち、もう一人が穿刺を行うので作業に２人が必要となる。支持手段に機器を取り付けてハンズフリーの状態とすることもできるが、機器と静脈との距離が固定されてしまい自由度が低い。

また、非特許文献２の技術は、グラス装着者の視界の中心に配置された小型スクリーンに近赤外光動画を表示させている。このため、静脈は視界の中央に配置される小型スクリーンを見ることで確認し、周囲の様子については小型スクリーンの外側から外界を目視することとなるため、通常と見え方が異なり、見にくい点や使いづらい点がある。

また、特許文献１の技術は、当該特許文献１の図７に示されるように、可視画像に重ね合わせられる血管構造の画像は、ＩＲ画像の血管構造の形状と異なる。すなわち、特許文献１の技術は血管構造の検出精度に依存するため、血管構造の誤検出に起因する誤穿刺の可能性が生じる。

そこで、本発明の目的は、ハンズフリーでありながら、生体領域とその周囲の様子が違和感なく視認でき、静脈の誤検出に起因する誤穿刺がない静脈可視化システム、静脈可視化プログラム、及び、静脈可視化方法を提供することにある。

本発明の静脈可視化システムは、非透過型ヘッドマウントディスプレイと、近赤外光を照射する光源と、前記光源から照射されて生体に反射した近赤外光を撮像する第一撮像手段と、前記生体に反射した可視光を撮像する第二撮像手段と、情報処理装置とを備え、前記情報処理装置は、前記第二撮像手段から得られる可視光画像の生体領域を、前記第一撮像手段から得られる近赤外光画像の生体領域で置換した合成画像を生成する処理と、前記合成画像を前記非透過型ヘッドマウントディスプレイに出力する処理と、を実行することを特徴とする。

この発明によれば、非透過型ヘッドマウントディスプレイには、可視光画像の生体領域が近赤外光画像の生体領域で置換された合成画像が表示される。合成画像の生体領域は、静脈の部位において近赤外光がヘモグロビンに吸収されて反射光が減少した近赤外光画像となり、静脈が可視化される。また、非透過型ヘッドマウントディスプレイは外界からの反射光が遮断されるため外界を直接目視することは不可能であるが、生体領域以外の領域は可視光画像が表示されるため外界の様子も認識できる。生体領域の近赤外光画像とそれ以外の領域の可視光画像は合成画像として非透過型ヘッドマウントディスプレイに表示されるため、使用者は合成画像で構成されるバーチャル空間に埋没した感覚が得られ、生体領域とその周辺状況を違和感なく認識することができる。また、生体領域の全体を近赤外光画像で置換するため、静脈の誤検出に起因する誤穿刺が生じることもない。

本発明によれば、可視光画像の生体領域を近赤外光画像の生体領域で置換した合成画像を非透過型ヘッドマウントディスプレイに表示することで、ハンズフリーでありながら、近赤外光動画と可視光動画とが違和感なく視認でき、静脈の誤検出に起因する誤穿刺がない静脈可視化システム、静脈可視化プログラム、及び、静脈可視化方法を提供することができる。

本実施の形態の静脈可視化システムの概略システム構成図である。 上記実施の形態における、近赤外光フレーム画像を示す図である。 上記実施の形態における、可視光フレーム画像を示す図である。 上記実施の形態における、情報処理装置が実行する画像処理を説明する概略フローチャートである。 上記実施の形態における、近赤外光フレーム画像と可視光フレーム画像とを足し合わせた画像を示す図である。 上記実施の形態における、近赤外光フレーム画像と可視光フレーム画像との差分をとった画像を示す図である。 上記実施の形態における、色相が所定範囲内の領域以外の領域を黒色でマスクした状態の可視光フレーム画像を示す図である。 上記実施の形態における、可視光フレーム画像の色相が所定範囲内の領域を、近赤外光フレーム画像の対応する領域で置換した画像を示す図である。 上記実施の形態における、可視光フレーム画像を２値化した画像を示す図である。 上記実施の形態における可視光フレーム画像について、ラベル番号毎に異なる色を付することによりラベリングを視覚化した画像を示す図である。 上記実施の形態における、可視光フレーム画像の中央のラベルが含まれる領域を、近赤外線フレーム画像の対応する領域で置換した合成画像を示す図である。 他の実施の形態における静脈可視化システムによる可視光フレーム画像を示す図である。 上記実施の形態における、可視光フレーム画像の生体として検出された領域を、近赤外光フレーム画像の対応領域で置換した合成画像を示す図である。 コンピュータのハードウエア資源を説明するブロック図である。

本実施の形態の静脈可視化システム１００は、静脈を可視化することにより静脈の位置や形状の確認を容易にするものである。図１は本実施の形態の静脈可視化システム１００の概略システム構成図である。

静脈可視化システム１００は、非透過型ヘッドマウントディスプレイ１と、近赤外光を照射する光源２と、光源２から照射されて生体Ａに反射した近赤外光を撮像する第一撮像手段３と、生体Ａに反射した可視光を撮像する第二撮像手段４と、情報処理装置５とを備える。第一撮像手段３と第二撮像手段４は、非透過型ヘッドマウントディスプレイ１に取り付け又は内蔵されており、非透過型ヘッドマウントディスプレイ１の装着者の動きに合わせた動画像が撮像される。本実施の形態では、生体Ａを人間の腕の一部分とし、腕の静脈に穿刺する場合を例に説明する。

非透過型ヘッドマウントディスプレイ１は一般的なものであり、使用者が目の周囲を覆うように装着することで外界の反射光が視界から遮断され、投影される画像により構成されるバーチャル空間に埋没する感覚が得られる埋没型のものである。３Ｄ映像や頭の動きに合わせたヘッドトラッキングも可能となっている。

光源２は、近赤外光Ｌ１を照射する機能を有するＬＥＤ等であり、生体Ａに近赤外光Ｌ１を照射可能な位置に配置される。近赤外光Ｌ１の発光波長は８２０ｎｍ〜８８０ｎｍが好ましく、本実施の形態では８５０ｎｍとしている。

第一撮像手段３は、近赤外光を動画撮像する機能を備え、生体Ａから反射した近赤外光を撮影することにより、図２に示すような近赤外光フレーム画像Ｆ１が時系列に連続する動画像が得られる。近赤外光は生体Ａに反射するが、生体Ａの表皮に近い静脈部分についてはヘモグロビンに吸収されて反射光が減少する。これにより、近赤外光フレーム画像Ｆ１は静脈を認識可能な画像となる。生体Ａ以外の領域については近赤外光の反射が更に減少した背景となっている。

第二撮像手段４は、可視光をカラー動画で撮像する機能を備え、生体Ａから反射した可視光を撮像することにより、図３に示すような可視光フレーム画像Ｆ２が時系列に連続する動画像が得られる。可視光フレーム画像Ｆ２は、生体Ａ及び生体Ａ以外の領域のいずれについても、直接目視したときとほぼ同様の像となる。

本実施の形態では、第一撮像手段３と第二撮像手段４として、可視光領域及び赤外光領域を撮像可能な市販のＷｅｂカメラを二台用いた。このカメラは最大解像度１２８０×１０２４ｐｉｘｅｌ、有効画素数１３０、フレームレート３０ｆｐｓ、受像素子がＣＭＯＳであり、有線又は無線にて情報処理装置５と接続可能となっている。

ここで、生体Ａからの反射光は、光源１から照射される近赤外光Ｌ１の反射光、及び、自然光若しくは蛍光灯等の照明により照射される可視光の反射光が合成した反射光である。そこで、近赤外光画像と可視光画像の撮像には、波長選択反射器６を用いる。波長選択反射器６は、特定の波長の光を反射し、それ以外の波長の光を透過する機能を有するものであり、例えば、可視光を透過し且つ近赤外光を反射させるホットミラーや、近赤外光を透過し且つ可視光を反射するコールドミラーである。本実施の形態では、ホットミラーを用いて近赤外光の反射光Ｌ２を反射させ、可視光の反射光Ｌ３を透過させ、反射方向に第一撮像手段３を配置し、透過方向に第二撮像手段４を配置することで、近赤外光フレーム画像Ｆ１と可視光フレーム画像Ｆ２について、視差の少ない同時撮像を実現している。

第一撮像装置３により撮像された近赤外光フレーム画像Ｆ１、及び、第二撮像装置４により撮像された可視光フレーム画像Ｆ２は情報処理装置５に送られる。情報処理装置５はパーソナルコンピュータやマイクロコンピュータ等であり、受信した近赤外光フレーム画像Ｆ１及び可視光フレーム画像Ｆ２を複数のフレーム画像が時系列に連続する動画像として一時的に蓄積記憶し、各フレーム画像に対して以下の画像処理を行う。

図４は画像処理を説明する概略フローチャートである。画像処理は、位置補正ステップＳ１、生体領域検出ステップＳ２（色空間変換ステップＳ２１、検出ステップＳ２２、ノイズ除去ステップＳ２３）、合成ステップＳ３を備える。位置補正ステップＳ１は、使用者による位置補正モードへの切り替えコマンドの入力により実行され、生体領域検出ステップＳ２及び合成ステップＳ３は、使用者による合成画像表示モードへの切り替えコマンドの入力により実行される。なお、各種コマンドはキーボードやマウス、ボタン等の入力装置により情報処理装置５に受け付けられる。

位置補正ステップＳ１は、同タイミングで撮像された近赤外光フレーム画像Ｆ１と可視光フレーム画像Ｆ２の互いの位置ずれを補正するステップである。なお、以下、近赤外光フレーム画像Ｆ１と可視光フレーム画像Ｆ２は同タイミングで撮像されたフレーム画像として説明する。

本実施の形態では、近赤外光フレーム画像Ｆ１と可視光フレーム画像Ｆ２が異なる二つの撮像手段３，４により撮像されており、これらの撮像手段の光軸に相対的なずれが生じる。このため、近赤外光フレーム画像Ｆ１と可視光フレーム画像Ｆ２を重ね合わせると位置ずれが生じる。そこで、近赤外光フレーム画像Ｆ１と可視光フレーム画像Ｆ２を相対移動させ、同一光軸で撮像された場合と同等の重ね合わせを実現する。以下、位置補正ステップＳ１について詳細に説明する。

情報処理装置５は、同時刻に撮像された一対の近赤外光フレーム画像Ｆ１と可視光フレーム画像Ｆ２を重ね合わせた画像を非透過型ヘッドマウントディスプレイ１に出力する。非透過型ヘッドマウントディスプレイ１には、位置ずれが生じた状態の重ね合わせ画像が表示される。

重ね合わせ画像は、近赤外光フレーム画像Ｆ１と可視光フレーム画像Ｆ２とを足し合わせた画像でも良いし、差分をとった画像としても良い。図５は、足し合わせた画像であり、図６は、差分をとった画像である。差分画像のほうが位置ずれの状態が確認しやすいため、位置補正ステップＳ１においては好ましい。

ここで、情報処理装置５は、近赤外光フレーム画像Ｆ１及び可視光フレーム画像Ｆ２をグレースケールに変換することも可能である。図６は、グレースケールに変換した近赤外光フレーム画像Ｆ１と可視光フレーム画像Ｆ２の差分画像である。これにより、重ね合わせた状態において、使用者が位置ずれを更に認識し易くなる利点がある。

また、近赤外光フレーム画像Ｆ１や可視光フレーム画像Ｆ２の輝度値を調整することで更に位置ずれを認識し易くすることも可能である。グレースケール変換や輝度値調整については、位置補正モードにすることで予め情報処理装置５が自動実行可能としても良いし、使用者のコマンド入力により適宜実行可能としても良い。

つぎに、使用者は、コマンド入力により可視光フレーム画像Ｆ２を左右上下に移動させて近赤外光画像に位置合わせする。また、ワイドボタン及びスモールボタン等によるコマンド入力で拡大縮小が可能であり、回転ボタン等によるコマンド入力で回転可能となっている。これらのコマンド入力を適宜行うことにより、可視光フレーム画像Ｆ２の位置、大きさ、傾きを調整し、近赤外光フレーム画像Ｆ１との位置合わせを行う。

情報処理装置５は、使用者のコマンド入力に従い、可視光画像に対して２次元のアフィン変換を利用することで位置ずれを補正する。詳しくは、変換元となる位置ずれ調整前の可視光フレーム画像の３点と、変換先となる位置ずれ調整後の可視光フレーム画像の３点から変換行列を算出し、算出した変換行列に基づいてアフィン変換を行う。なお、変換元の３点は、情報処理装置５に予め設定されている所定の３つの座標{ ( 0, 0 ) , (Width, 0 ) , ( 0, Height ) }であり、変換先の３点は、使用者による左右上下移動・拡大縮小・回転のコマンド入力により、変換前の所定の３つの座標{ ( 0, 0 ) , (Width, 0 ) , ( 0, Height ) }が移動した座標{ (X, Y ) , (X -Width, Y ) , (X, Y - Height ) }である。

情報処理装置５は、使用者による位置補正ステップ終了のコマンド入力を検知するまで、連続する可視光フレーム画像に対して時系列順に位置補正ステップＳ１の処理を行う。なお、算出された変換行列は、ユーザによる新たな位置ずれ調整のコマンドに基づき、新たな変換行列が算出されるまで一時記憶され、後続の可視光フレーム画像のアフィン変換にも用いられる。新たな変換行列が算出されると先の変換行列を上書きする。

情報処理装置５が使用者による位置補正ステップ終了のコマンド入力を検知すると、その時点での変換行列を記憶し、その後の可視光フレーム画像については記憶されている変換行列に基づいてアフィン変換を行う。これにより、位置補正ステップ終了のコマンド入力以降の可視光フレーム画像については、利用者が調整せずとも位置ずれが補正され、可視光動画像と近赤外光動画像が位置ずれ無く重ね合わされた状態となる。

位置補正ステップＳ１が終了すると、モードが切り替わり、生体領域検出ステップＳ２が実行される。なお、本実施の形態では、モード切り替えコマンドが、位置補正ステップ終了コマンドと同一となっており、位置補正ステップ終了のコマンド入力と同時にモードが切り替わり、生体領域検出ステップＳ２が実行される。

生体領域検出ステップＳ２は、可視光フレーム画像Ｆ２について生体Ａの領域（以下、生体領域と言う。）を検出する。本実施の形態では、日本人の平均的な肌の色であるペールオレンジに近い領域を生体領域として検出する。以下、生体領域検出ステップＳ２について詳細に説明する。

生体領域検出ステップＳ２は、色空間変換ステップＳ２１と検出ステップＳ２２とノイズ除去ステップＳ２３を備える。色空間変換ステップＳ２１では、情報処理装置５が可視光フレーム画像Ｆ２をＲＧＢ色空間からＨＳＶ色空間に変換する処理を行う。ＲＧＢは３チャンネルで色空間を指定する必要があるが、ＨＳＶは色相（Ｈｕｅ）の１チャンネルのみで色の範囲指定ができるため、処理量軽減の観点から有効である。

検出ステップＳ２２では、色相が所定範囲内の画素を、生体領域を構成する画素として検出する。色相の他に、必要に応じて彩度や明度の範囲を指定することも任意である。色相、彩度、明度の範囲については、対象となる部位、人種、環境等に応じて、適宜調整すれば良い。図７は、色相が所定範囲内の領域以外の領域を黒色でマスクした状態の可視光フレーム画像Ｆ２であり、図８は、色相が所定範囲内の領域を、近赤外光フレーム画像Ｆ１の対応する領域で置換した合成画像である。生体Ａ以外の背景領域にも近赤外光フレーム画像Ｆ１により置換されている領域があり、ノイズが生じているのがわかる。

そこで、情報処理装置５は、検出ステップＳ２２の後にノイズ除去ステップＳ２３の処理を実行する。ノイズ除去ステップＳ２２は、ラベリング手法により実現する。まず、色相が所定範囲の領域とそれ以外の領域とで可視光フレーム画像Ｆ２を２値化する。図９は、２値化した画像を示す図である。つぎに、２値化した画像における一方の値の領域（色相が所定範囲内の領域）について、輪郭ごと（隣接する画素が同一の値である領域ごと）にラベル番号を付ける。図１０は、ラベル番号毎に異なる色を付することによりラベリングを視覚化した画像を示す図である。画像中央の画素にラベルが付されているときは、その中央の画素と同一のラベル番号が付された画素で構成される領域を、生体Ａの領域として検出する。これにより、生体Ａから離隔した領域がノイズとして除去される。

ここで、生体Ａの領域抽出に画像中央の画素のラベルを用いるのは、生体Ａが画像中央に配される確率が高いためである。検出対象とするラベルは、生体Ａが配置される位置を想定して設定すれば良く、画像中央以外の位置でも良い。

合成ステップＳ３は、可視光フレーム画像Ｆ２の生体Ａとして検出された領域を、近赤外線フレーム画像Ｆ１の対応する領域で置換する。図１１は、置換後の画像を示す図である。生体Ａとして検出された領域が近赤外光フレーム画像Ｆ１となり、それ以外の領域は可視光フレーム画像Ｆ２となり、ノイズも減少している。

以下、本実施の形態の静脈可視化システム１００の使用方法及び動作について説明する。使用者は、非透過型ヘッドマウントディスプレイ１を装着し、所定位置に配置されている被穿刺者の腕部の方向に視線を向ける。情報処理装置５は、第一撮像手段３から入力される近赤外光フレーム画像Ｆ１と、第二撮像手段４から入力される可視光フレーム画像Ｆ２をグレースケールに変換し、両画像の差分画像（図６参照）を非透過型ヘッドマウントディスプレイ１に出力する。非透過型ヘッドマウントディスプレイ１には、グレースケール化した可視光画像と近赤外光画像の差分動画が表示される。

使用者は、必要に応じてコマンド入力により可視光フレーム画像Ｆ２を移動・拡大縮小・回転させ、可視光動画像と近赤外光動画像の位置ずれを修正する。情報処理装置５は、位置補正ステップＳ１を実行し、使用者のコマンド入力に合わせて可視光フレーム画像Ｆ２のアフィン変換を行う。

使用者は、近赤外光動画像の腕部と可視光動画像の腕部が重なり合うと、位置補正ステップ終了のコマンドを入力する。情報処理装置５は、そのコマンド入力を検知すると、その時点の変換行列を記憶し、後続の可視光フレーム画像については、記憶した変換行列に基づいてアフィン変換を行う。これにより、後続の可視光動画像と赤外光動画像は位置ずれが補正されて表示される。

情報処理装置５は、位置補正ステップＳ１が終了すると、アフィン変換後の可視光フレーム画像Ｆ２について、生体領域検出ステップＳ２を実行する。すなわち、可視光フレーム画像Ｆ２についてＲＧＢ色空間からＨＳＶ色空間への変換を行い（色空間変換ステップＳ２１）、色相が所定範囲内にある画素で構成される領域（生体領域）と、それ以外の領域とで２値化したマスクを生成し（検出ステップＳ２２）、生体領域を輪郭毎にラベリングすることでノイズを除去する（ノイズ除去ステップＳ２３）。

その後、情報処理装置５は可視光フレーム画像Ｆ２において生体として検出された領域を近赤外光フレーム画像Ｆ１の対応領域で置換する処理を行う（合成ステップＳ３）。後続の近赤外線フレーム画像及び可視光フレーム画像についても同様に生体検出ステップＳ２及び合成ステップＳ３を実行することにより、図１１に示すように、生体として検出された領域が近赤外光動画像であり、それ以外の領域は可視光動画像である合成動画像が非透過型ヘッドマウントディスプレイ１に表示される。

これにより、使用者は、近赤外光動画像を視認しながら静脈穿刺を行うことができ、周囲の状況については可視光動画像により確認することが可能となる。合成動画像は非透過型ヘッドマウントディスプレイ１に表示されるため、ハンズフリーでありながら、あたかも通常の環境下において生体のみ近赤外光で視認しているかのようなリアリティ感が得られ、生体領域とその周囲の様子の視認に違和感が生じない。

また、非透過型ヘッドマウントディスプレイを装着した使用者は外界を直接目視することはできないが、周囲の状況は可視光動画像で視認可能であるため不利益は生じない。

また、生体領域には近赤外光動画像が表示されるため、静脈の位置は使用者が判断すれば良く、静脈の誤検出に起因する誤穿刺は生じない。

なお、非透過型ヘッドマウントディスプレイ１が二眼の場合は、二眼用に視差を形成した２つの合成画像を並列配置すれば良い。

（他の実施の形態）
以下、他の実施の形態を説明する。本実施の形態は、検出ステップＳ２２及びノイズ除去ステップＳ２３の高速処理を可能とするものである。なお、色空間変換ステップ２１までは上記実施の形態と同じであるため、説明は省略する。

検出ステップＳ２２では、情報処理装置５が可視光フレーム画像Ｆ２の中央の画素の色相を監視する。これは、中央の画素の色相が所定範囲内になると、そこに生体Ａが位置したと推測できるためである。

情報処理装置５は、中央の画素の色相が所定範囲内になったことを検知すると、以下のノイズ除去ステップＳ２３を実行する。情報処理装置５は可視光フレーム画像の中央の画素（以下、基準画素と言う。）の画素値を基準画素値とし、その基準画素に隣接する隣接画素の画素値を隣接画素値とし、基準画素値と隣接画素値の差を算出する算出処理を行う。そして、基準画素値と隣接画素値との差が所定範囲内のときは、その隣接画素を生体領域を構成する画素として検出する検出処理を実行する。

さらに、生体領域を構成する画素として検出された隣接画素を新たな基準画素とし、上記の算出処理と検出処理を繰り返す。これにより、近似画素が連続する領域は生体領域として検出され、近似する画素であっても連続しない領域については検出されないため、ノイズの少ない生体領域の検出が可能となる。なお、本実施の形態において、生体領域を構成する画素として検出する範囲は、基準画素値と隣接画素値との差が２５６階調のＲＧＢ全ての画素値について−５〜＋５の範囲内としているが、適宜調整可能である。

さらに、情報処理装置５は、生体領域として検出された画素と、それ以外の画素とで二値化したマスクを生成し、生成したマスクに基づいて可視光フレーム画像Ｆ２の生体領域と近赤外光フレーム画像Ｆ１の生体領域を検出し、可視光フレーム画像Ｆ２の生体領域を近赤外光フレーム画像Ｆ１の生体領域で置換する（合成ステップＳ３）。

図１２は、本実施の形態の静脈可視化システムによる可視光フレーム画像Ｆ２を示す図であり、図１３は、可視光フレーム画像Ｆ２の生体領域を、近赤外光フレーム画像Ｆ１の生体領域で置換した合成画像を示す図である。いずれも非透過型ヘッドマウントディスプレイ１の二眼に合わせて、視差を調整した二つの合成画像が左右並列に配置されている。

本実施の形態によれば、検出ステップＳ２２及びノイズ除去ステップＳ２３の高速処理が可能となり、合成画像が第一撮像手段３及び第二撮像手段４とほぼ同じフレームレートで出力される。

なお、上で述べた情報処理装置５は、コンピュータ装置であって、図１４に示すように、メモリ２５０１とＣＰＵ２５０３とハードディスク・ドライブ（ＨＤＤ）２５０５と表示装置（本実施の形態では非透過型ヘッドマウントディスプレイ）１に接続される表示制御部２５０７とリムーバブル・ディスク２５１１用のドライブ装置２５１３と入力装置２５１５とネットワークに接続するための通信制御部２５１７とがバス２５１９で接続されている。オペレーティング・システム（ＯＳ：Operating System）及び本実施例における処理を実施するためのアプリケーション・プログラムは、ＨＤＤ２５０５に格納されており、ＣＰＵ２５０３により実行される際にはＨＤＤ２５０５からメモリ２５０１に読み出される。ＣＰＵ２５０３は、アプリケーション・プログラムの処理内容に応じて表示制御部２５０７、通信制御部２５１７、ドライブ装置２５１３を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ２５０１に格納されるが、ＨＤＤ２５０５に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク２５１１に格納されて頒布され、ドライブ装置２５１３からＨＤＤ２５０５にインストールされる。インターネットなどのネットワーク及び通信制御部２５１７を経由して、ＨＤＤ２５０５にインストールされる場合もある。このようなコンピュータ装置は、上で述べたＣＰＵ２５０３、メモリ２５０１などのハードウエアとＯＳ及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。

以上、本発明は上記実施の形態に限定されるものではなく、発明の範囲内において適宜変更可能である。

たとえば、上記実施の形態では静脈穿刺を使用目的とした場合を例に説明したが、他の使用目的で静脈を可視化する場合に用いても良い。また、生体は腕部に限定されるものではなく、脚部やその他の部位でも良い。

また、上記実施の形態では、位置補正ステップＳ１において可視光フレーム画像の位置等を調整したが、近赤外光フレーム画像の位置等を調整することで補正しても良い。

また、上記実施の形態では、可視光画像の生体領域を検出し、検出された領域を近赤外光画像の生体領域で置換したが、近赤外線画像の生体領域を検出し、可視光画像の対応領域に嵌め込むことにより置換しても良い。すなわち、生体領域が近赤外光画像であり、それ以外の領域が可視光画像で構成される合成画像であれば、どのような処理を用いて合成画像を生成しても良い。

また、非透過型ヘッドマウントディスプレイ、光源、第一撮像手段、第二撮像手段、波長選択反射器６は、別体として構成しても良いし、必要に応じて一体的に構成しても良い。

１００ 静脈可視化システム
１ 非透過型ヘッドマウントディスプレイ
２ 光源
３ 第一撮像手段
４ 第二撮像手段
５ 情報処理装置
６ 波長選択反射器
Ａ 生体
Ｌ１ 近赤外光
Ｌ２ 近赤外光の反射光
Ｌ３ 可視光の反射光

Claims (5)

1. 非透過型ヘッドマウントディスプレイと、
   近赤外光を照射する光源と、
   前記光源から照射されて生体に反射した近赤外光を撮像する第一撮像手段と、
   前記生体に反射した可視光を撮像する第二撮像手段と、
   情報処理装置とを備え、
   前記情報処理装置は、前記第二撮像手段から得られる可視光画像の生体領域を、前記第一撮像手段から得られる近赤外光画像の生体領域で置換した合成画像を生成する処理と、
   前記合成画像を前記非透過型ヘッドマウントディスプレイに出力する処理と、を実行することを特徴とする静脈可視化システム。
2. 前記情報処理装置は、前記可視光画像を構成する画素のうち色相が所定範囲内の画素を、前記生体領域を構成する画素として検出することを特徴とする請求項１記載の静脈可視化システム。
3. 前記情報処理装置は、前記可視光画像の所定位置の画素である基準画素の色相が所定範囲内となったことを検知すると、
   当該基準画素の画素値と、当該基準画素値と隣接する隣接画素の画素値との差を算出する算出処理と、
   当該画素値の差が所定範囲内である隣接画素を、前記生体領域を構成する画素として検出する検出処理とを実行し、
   当該検出された画素を基準画素として前記算出処理と前記検出処理を繰り返すことで、前記生体領域を検出することを特徴とする請求項１記載の静脈可視化システム。
4. 光源から照射されて生体に反射した近赤外光を撮像する第一撮像手段から得られる近赤外線画像と、
   前記生体に反射した可視光を撮像する第二撮像手段から得られる可視光画像とを用いて、
   前記生体の静脈を可視化する処理を情報処理装置が実行する静脈可視化方法であり、
   前記第二撮像手段から得られる可視光画像の生体領域を、前記第一撮像手段から得られる近赤外光画像の生体領域で置換した合成画像を生成するステップと、
   前記合成画像を前記非透過型ヘッドマウントディスプレイに出力するステップと、を情報処理装置が実行することを特徴とする静脈可視化方法。
5. 光源から照射されて生体に反射した近赤外光を撮像する第一撮像手段から得られる近赤外線画像と、
   前記生体に反射した可視光を撮像する第二撮像手段から得られる可視光画像とを用いて、
   前記生体の静脈を可視化する処理を情報処理装置に実行させるプログラムであり、
   前記第二撮像手段から得られる可視光画像の前記生体領域に、前記第一撮像手段から得られる近赤外光画像の前記生体領域を置換した合成画像を生成する処理と、
   前記合成画像を前記非透過型ヘッドマウントディスプレイに出力する処理と、
   を情報処理装置に実行させることを特徴とする静脈可視化プログラム。