JP2008011912A - 画像表示装置及び画像表示方法 - Google Patents

Abstract

【課題】穿刺の際に、注射針が混入しても誤認識することなく正しく血管位置と注射針位置を区別して強調表示することができる画像表示装置及び画像表示方法を提供する。
【解決手段】生体を撮像して得られるデジタル画像を有するフレームを所定の時間間隔で入力する画像入力部と、デジタル画像内の血管位置を血管位置情報として抽出する血管位置抽出部９０２と、血管位置情報を記録する画像メモリ９０４５と、デジタル画像内の注射針の有無及び位置を注射針位置情報として検出する注射針検出部９０３と、血管位置抽出部９０２によって抽出された現フレームにおける第１の血管位置情報、画像メモリ９０４５に記録された前フレームにおける第２の血管位置情報、および注射針位置情報とに基づいて、生体の血管及び注射針を強調したデジタル画像を強調画像として表示する強調画像表示部９０４とを有する。
【選択図】図９

Description

本発明は、デジタル画像内の特定の領域を抽出し、抽出した領域を強調して表示する画像表示装置及び画像表示方法の技術に関するものであり、特に、生体を撮像したデジタル画像内の血管位置を抽出し、強調表示する技術に関するものである。

従来、生体の血管位置を抽出して強調表示する装置として、近赤外光を用いたものがある。これは、血液中のヘモグロビンは近赤外光を吸収する性質を利用したものであり、生体に近赤外波長の光を照射し、生体からの反射光もしくは透過光を近赤外感度の高い白黒ＣＣＤカメラで撮像すると、撮像した画像において、血管が存在する領域だけ反射もしくは透過が少なくなり、画像上で暗く映し出される。そこで、暗く映し出された領域を画像処理により抽出し、抽出した領域を強調することで、生体上の血管位置を強調表示していた（例えば、特許文献１参照）。

図１３は、特許文献１に記載された血管位置提示装置の概観図を示したものであり、医師または看護師が患者の腕等に対して静脈注射を行う際、血管位置に確実に注射針を刺すことを支援する装置である。

この血管位置提示装置では、筐体１３０２と血管位置を検出しようとする腕１３０１とを所定の距離離した状態で安定させ、筐体１３０２と足場１３０９、１３１０で腕１３０１を囲むように設置する。

そして使用の際は、筐体１３０２の底面に取り付けてある照明手段により近赤外照明光を生体１３０１に照射し、その反射光を、近赤外光波長領域を透過する光学フィルタを通して筐体１３０２の底面に取り付けてある近赤外感度の高い白黒ＣＣＤカメラ等の撮像手段により撮像する。

こうして撮像した近赤外光画像では、血管が存在する領域は吸光により反射光が少なくなり暗く映し出され、逆に注射針は光を強く反射するため明るく映し出されている。

次いで、画像処理手段により、近赤外光画像における各水平ライン走査上で所定の輝度閾値との比較を行い、血管位置においては、血管を抽出するために設定してある閾値よりも小さい輝度値をもつ画素を血管位置として抽出する。

同様にして、注射針位置においても、注射針を抽出するために設定してある閾値よりも大きい輝度値をもつ画素を注射針位置として抽出する。そして、近赤外光画像の血管位置と注射針位置を強調させて、液晶表示部１３０３に表示する。

また、さらに、液晶表示部１３０３に表示した血管位置情報を元に、トラックボール１３０４を用いてカーソル１３０７を血管上に移動させ、入力用ボタン１３０８で決定し、生体上に可視光レーザにより穿刺位置を示す穿刺マーカ１３０５を照射し、医師または看護師は、液晶表示部１３０３上に表示された血管位置１３０６や穿刺マーカ１３０５を見ながら、穿刺を行っていた。
特開２００６−１０２１１０号公報

しかしながら、前記特許文献１の構成では、上部から生体に照明を照射しているため、穿刺の際、注射針により生体上に影ができる。そして、近赤外光画像において影は暗く映るので、影を血管として誤認識してしまい、血管として誤った強調表示をしてしまうという事情がある。また、注射針の表面の形状が曲面であるため針の側面は影となり、注射針を同様に血管として誤った強調表示をしてしまうという事情があった。さらに、注射針を移動させ、血管上に注射針が重なった場合、注射針により血管が隠されてしまうため、血管の位置が分からなくなるという事情があった。

本発明は、前記従来の事情を鑑みてなされたものであって、穿刺の際に、注射針が撮像画像内に入っても誤認識することなく正しく血管位置と注射針位置とを強調して表示することができる画像表示装置及び画像表示方法を提供することを目的とする。

上記目的を達成するために、本発明の第１の画像表示装置は、生体を撮像して得られるデジタル画像を有するフレームを所定の時間間隔で入力する画像入力部と、前記デジタル画像内の血管位置を血管位置情報として抽出する血管位置抽出部と、前記血管位置情報を記録する記録部と、前記デジタル画像内の注射針の有無及び位置を注射針位置情報として検出する注射針検出部と、前記血管位置抽出部によって抽出された現フレームにおける第１の血管位置情報、前記記録部に記録された前フレームにおける第２の血管位置情報、および前記注射針位置情報とに基づいて、前記生体の血管及び前記注射針を強調したデジタル画像を強調画像として表示する強調画像表示部とを有する構成としている。

この構成により、穿刺の際に、注射針が撮像画像内に入っても誤認識することなく正しく血管位置と注射針位置とを強調して表示することができる。

また、本発明の第２の画像表示装置は、前記血管位置情報は前記血管位置における血管画素に関する情報を含み、前記注射針位置情報は前記注射針位置における注射針画素に関する情報を含み、前記強調画像表示部が、前記注射針位置情報に基づき、前記注射針位置の中心位置から所定の範囲を注射針影響領域として設定する注射針影響領域設定部と、前記第１の血管位置情報のうち前記注射針影響領域を除く領域の血管位置情報および前記第２の血管位置情報のうち前記領域に対応する第１の対応領域の血管位置情報に基づいて、フレーム間の位置ずれ量を算出する位置ずれ量算出部と、前記位置ずれ量に基づいて、前記第１の血管位置情報のうち前記注射針影響領域を除く領域の血管位置情報と、前記第２の血管位置情報のうち前記注射針影響領域に対応する第２の対応領域の血管位置情報とを合成し、現フレームの血管位置情報とする血管位置合成部と、前記現フレームの血管位置情報および前記注射針位置情報に基づいて、前記デジタル画像における前記血管画素と前記注射針画素とを強調した前記強調画像を作成し出力する画像強調部と、を有する構成としている。

この構成により、穿刺の際に、注射針が撮像画像内に入っても誤認識することなく正しく血管位置と注射針位置とを強調して表示することができる。

また、本発明の第３の画像表示装置は、前記血管位置抽出部が、前記デジタル画像に対して、相対的に周辺画素よりも輝度値が小さい画素領域を血管位置として抽出する構成としている。

この構成により、正しく血管位置を抽出することができる。

また、本発明の第４の画像表示装置は、前記注射針検出部が、前記注射針の形状のエッジを抽出する画像処理フィルタを用いて各画素におけるエッジ量を求め、求められたエッジ量と所定の閾値との比較を行い、前記エッジ量が前記所定の閾値よりも大きい画素を注射針位置として検出する構成としている。

この構成により、正しく注射針位置を抽出することができる。

また、本発明の第５の画像表示装置は、前記注射針検出部が、前記画像処理フィルタを前記注射針が向く方向に合わせて複数個用意しておき、各画像処理フィルタ毎に求めたエッジ量のうち、最大のエッジ量を前記所定の閾値との比較に用いる構成としている。

この構成により、注射針の方向が随時変化する場合であっても、注射針の方向によらずに注射針画素を検出することができる。

また、本発明の第６の画像表示装置は、前記注射針検出部で用いる所定の閾値が、前記注射針が存在しない状態の生体を撮像したデジタル画像に対し前記画像処理フィルタを用いてエッジ量を求め、求めた最大のエッジ量よりも大きな値を設定する構成としている。

この構成により、画像がノイズ等の影響を受けた場合であっても、注射針画素とその他の画素を正確に区別することができる。

また、本発明の第７の画像表示装置は、前記注射針影響領域設定部によって前記注射針影響領域を設定する際に用いる所定の範囲が、前記注射針により前記生体上にできる影と前記注射器とが含まれる範囲を設定する構成としている。

この構成により、注射針が撮像画像内に入ってもその影響による誤認識をおこすことなく、さらに生体上にできる影が誤って血管として認識されて抽出されることを防ぐことができる。

また、本発明の第８の画像表示装置は、前記注射針影響領域設定部が、前記注射針の向きに合わせて前記所定の範囲を回転させて前記注射針影響領域を設定する構成としている。

この構成により、注射針方向が変化した場合であっても、注射針方向に合わせて注射針影響領域を設定することができる。

また、本発明の第９の画像表示装置は、前記画像強調部が、前記現フレームの血管位置情報を第２の血管位置情報として前記記録部へ記憶する構成としている。

この構成により、現フレームにて強調画像を作成するために使用した血管位置情報を、次フレームにおける強調画像作成のために活用することができる。

また、本発明の第１０の画像表示装置は、前記画像強調部が、前記血管位置情報と前記注射針位置情報に基づき、前記デジタル画像内の前記血管画素を第１の色に、前記注射針画素を第２の色に、前記血管と前記注射針とが重なり合う画素を第３の色により強調する構成としている。

この構成により、血管位置、注射針位置、血管と注射針とが重なり合う位置を視覚的に容易に判断することができる。

また、本発明の第１１の画像表示装置は、前記画像強調部が、前記第２の血管位置情報において前記第２の対応領域における血管位置情報が記録部によって記憶されていない場合、前記強調画像を加工し表示することで通知を行う構成としている。

この構成により、第１の血管位置情報のうち注射針影響領域と置き換えて合成するための血管情報が現時点で存在しない旨を通知することが可能である。

また、本発明の第１２の画像表示装置は、前記強調画像の加工が、前記強調画像における前記注射針影響領域の画素を第４の色により強調する構成としている。

この構成により、第１の血管位置情報のうち注射針影響領域と置き換えて合成するための血管情報が現時点で存在しない旨を視覚的に容易に認識することができる。

また、本発明の第１３の画像表示装置は、前記第１の血管位置情報と第２の血管位置情報とのうち、前記注射針影響領域に含まれる血管位置情報に基づき、前記注射針により影響を受けている画素を影響画素として検出し、検出された前記影響画素が含まれるように、前記注射針影響領域の範囲を修正する注射針影響領域範囲修正部をさらに有し、前記注射針影響領域設定部が、次フレームにおいて、前記注射針影響領域範囲修正部によって修正された注射針影響領域の範囲を用いて注射針影響領域を設定する構成としている。

この構成により、注射針影響領域を最小限の範囲で無駄なく設定することができ、より精度高く血管位置と注射針位置とを認識することが可能である。

また、本発明の第１４の画像表示装置は、前記注射針影響領域範囲修正部が、前記注射針影響領域の各位置において、前記第１の血管位置情報と前記第２の血管位置情報との差分値の絶対値を求め、求められた絶対値が所定の閾値よりも大きくなっている位置および前記注射針検出部によって検出された注射針位置を前記影響画素とする構成としている。

この構成により、現フレームと前フレーム間の差異を各位置毎に正確に把握することができ、注射針影響領域をより無駄なく設定することが可能である。

また、本発明の第１５の画像表示装置は、前記注射針影響領域範囲修正部が、前記注射針の側面方向および先端方向でのみ前記注射針影響領域の範囲の修正を行う構成としている。

この構成により、確実に注射器が存在する注射器の根元方向に関して初期値から変更しないようにすることで、演算量を減らすことができる。

また、本発明の第１の画像表示方法は、生体が撮像されて得られるデジタル画像を有するフレームが所定の時間間隔で入力される画像入力工程と、前記デジタル画像内の血管位置が血管位置情報として抽出される血管位置抽出工程と、前記血管位置情報が記録される記録工程と、前記デジタル画像内の注射針の有無及び位置が注射針位置情報として検出される注射針検出工程と、前記血管位置抽出工程において抽出された現フレームにおける第１の血管位置情報、前記記録工程において記録された前フレームにおける第２の血管位置情報、および前記注射針位置情報とに基づいて、前記生体の血管及び前記注射針が強調されたデジタル画像が強調画像として表示される強調画像表示工程とを有する方法としている。

この方法により、穿刺の際に、注射針が撮像画像内に入っても誤認識することなく正しく血管位置と注射針位置とを強調して表示することができる。

また、本発明の第２の画像表示方法は、前記血管位置情報は前記血管位置における血管画素に関する情報を含み、前記注射針位置情報は前記注射針位置における注射針画素に関する情報を含み、前記強調画像表示工程が、前記注射針位置情報に基づき、前記注射針位置の中心位置から所定の範囲が注射針影響領域として設定される注射針影響領域設定工程と、前記第１の血管位置情報のうち前記注射針影響領域を除く領域の血管位置情報および前記第２の血管位置情報のうち前記領域に対応する第１の対応領域の血管位置情報に基づいて、フレーム間の位置ずれ量が算出される位置ずれ量算出工程と、前記位置ずれ量に基づいて、前記第１の血管位置情報のうち前記注射針影響領域を除く領域の血管位置情報と前記第２の血管位置情報のうち前記注射針影響領域に対応する第２の対応領域の血管位置情報とが合成され、現フレームの血管位置情報とされる血管位置合成工程と、前記現フレームの血管位置情報および前記注射針位置情報に基づいて、前記デジタル画像における前記血管画素と前記注射針画素とを強調した前記強調画像が作成され出力される画像強調工程とを有する方法としている。

この方法により、穿刺の際に、注射針が撮像画像内に入っても誤認識することなく正しく血管位置と注射針位置とを強調して表示することができる。

また、本発明の第３の画像表示方法は、前記第１の血管位置情報と第２の血管位置情報とのうち、前記注射針影響領域に含まれる血管位置情報に基づき、前記注射針により影響を受けている画素が影響画素として検出され、検出された前記影響画素が含まれるように、前記注射針影響領域の範囲が修正される注射針影響領域範囲修正工程をさらに有し、前記注射針影響領域設定工程が、次フレームにおいて、前記注射針影響領域範囲修正部によって修正された注射針影響領域の範囲を用いて注射針影響領域が設定される方法としている。

この方法により、注射針影響領域を最小限の範囲で無駄なく設定することができ、より精度高く血管位置と注射針位置とを認識することが可能である。

本発明の画像表示装置及び画像表示方法によれば、穿刺の際に、注射針が撮像画像内に存在しても正しい血管位置情報を得ることができ、血管位置と注射針位置を区別し強調表示することができる。

以下に、本発明の実施例における画像表示装置及び画像表示方法を図面とともに詳細に説明する。

本発明の実施例１として、近赤外光を生体に対し上部から照射し、生体からの反射光を近赤外光波長のみを透過する光学フィルタを通して、近赤外波長の感度が高い白黒ＣＣＤカメラで撮像し、デジタル化した近赤外光画像内の血管位置と注射針位置を強調表示する場合を例として説明を行う。この近赤外光画像は、１画素を８ｂｉｔで表し、画素値は輝度を示す濃淡画像とする。このようにして撮像された近赤外光画像においては、血液中のヘモグロビンは近赤外光を吸収する性質をもっているため、血管が存在する領域だけ反射光が少なくなり、血管が存在する画素の輝度値は小さくなる。また、注射針においては近赤外光を強く反射するため、注射針が存在する画素の輝度値は大きくなる。

まず、本発明の実施例１における画像表示装置９００の説明を行う。図９は、本発明の実施例１における画像表示装置９００の要部概略構成を示すブロック図である。

画像表示装置９００は、例えばコンピュータにより形成され、血管位置抽出部９０２、注射針検出部９０３、および強調画像表示部９０４を含んで構成される。また、さらに、強調画像表示部９０４は、注射針影響領域設定部９０４１、位置ずれ量算出部９０４２、血管位置合成部９０４３、画像強調部９０４４、および画像メモリ９０４５を含んで構成される。

画像処理装置９００に入力される近赤外光画像９０１は、例えば近赤外光を生体に対し上部から照射し、その反射光を、近赤外波長のみを透過する光学フィルタを通し白黒ＣＣＤカメラで撮像し、デジタル化した画像である。画像表示装置９００は、この近赤外光画像９０１に含まれる血管位置と注射針位置を強調して表示する。

血管位置抽出部９０２は、近赤外光画像９０１において、相対的に周辺画素よりも輝度値が小さくなっている画素領域を血管位置として抽出し、抽出した血管位置情報を強調画像表示部９０４に出力する。

注射針検出部９０３は、近赤外光画像９０１に対して、注射針３０１（後述の図３参照）の形状を示すライン状のエッジを抽出する画像処理フィルタを用いてエッジ量を求め、求めたエッジ量と所定の閾値との比較を行い、条件を満たす画素を注射針位置として検出する。そして、検出した注射針位置情報を強調画像表示部９０４に出力する。

強調画像表示部９０４は、血管位置抽出部９０２から出力された血管位置情報と注射針検出部９０３から出力された注射針位置情報とを元に、近赤外光画像９０１内の血管位置と注射針位置の画素を強調した画像を作成し、作成した画像を強調画像９０５として表示する。

また、強調画像表示部９０４に含まれる注射針影響領域設定部９０４１は、注射針検出部９０３から出力される注射針位置情報に基づき、近赤外光画像９０１において注射針による影響を受けている部分を含む画素を、注射針影響領域６０１（後述の図６参照）として設定し、位置ずれ量算出部９０４２と血管位置合成部９０４３とに出力する。

位置ずれ量算出部９０４２は、血管位置抽出部９０２から出力される第１の血管位置情報７０１（後述の図７参照）、画像メモリ９０４５に記憶されている第２の血管位置情報７０２（前フレームにおいて近赤外光画像９０１の強調に用いた血管位置情報）（後述の図７参照）、および注射針影響領域設定部９０４１から出力される注射針影響領域６０１に基づき、第１の血管位置情報７０１と第２の血管位置情報７０２間における血管位置の位置ずれ量を算出し、算出した位置ずれ量を血管位置合成部９０４３に出力する。

血管位置合成部９０４３は、血管位置抽出部９０２から出力される第１の血管位置情報７０１、画像メモリ９０４５に記憶されている第２の血管位置情報７０２、注射針影響領域設定部９０４１から出力される注射針影響領域６０１、位置ずれ量算出部９０４２から出力される位置ずれ量を元に、第１の血管位置情報７０１と第２の血管位置情報７０２を合成することにより、注射針３０１による影響を受けていない合成した血管位置情報８０１（後述の図８参照）を生成し、画像強調部９０４４に出力する。

画像強調部９０４４は、血管位置抽出部９０２または血管位置合成部９０４３から出力される血管位置情報８０１、注射針検出部９０３から出力される注射針位置情報、および近赤外光画像９０１に基づき、近赤外光画像９０１における血管位置と注射針位置を強調した画像を作成し、強調画像９０５として出力する。またこれと同時に、強調に用いた血管位置情報を第２の血管位置情報７０２として画像メモリ９０４５に出力する。

以上のように構成された画像表示装置９００を用い、血管位置抽出部９０２では例えばステップＳ１０１で行う処理を、注射針検出部９０３では例えばステップＳ１０２で行う処理を、強調画像表示部９０４では例えばステップＳ１０３で行う処理を行い、さらに強調画像表示部９０４の内部において、注射針影響領域設定部９０４１では例えばステップＳ１０３２で行う処理を、位置ずれ量算出部９０４２では例えばステップＳ１０３３で行う処理を、血管位置合成部９０４３では例えばステップＳ１０３４で行う処理を、画像強調部９０４４では例えばステップＳ１０３１とステップＳ１０３５で行う処理を行うことで、入力された近赤外光画像９０１に対して、注射針３０１による影響を受けずに正しい血管位置情報を得ることができ、常に最新の血管位置と注射針位置を区別して強調表示することができる。

次に、画像表示装置９００が行う処理について説明する。
図１は、本発明の実施例１における画像表示装置９００が行う処理を示すフローチャートである。図１のフローチャートはステップＳ１０１ないしステップＳ１０３からなり、ステップＳ１０１は血管位置抽出工程の一例を、ステップＳ１０２は注射針検出工程の一例を、ステップＳ１０３１からステップＳ１０３５からなるステップＳ１０３は強調画像表示工程の一例を、それぞれ示し、生体を連続して撮像した近赤外光画像９０１に対し、各フレームでこれらステップの処理を行う。

以下、近赤外光画像９０１に対して、本発明の実施例１の画像表示装置９００が行う画像処理をフローチャートに従って図２から図８を用いて詳細に説明する。

まず、血管位置抽出部９０２が近赤外光画像に対して血管位置を抽出する（ステップS１０１）。これは、相対的に周辺画素よりも輝度値が小さくなっている画素領域を血管位置として抽出することで行う。なお、近赤外光画像９０１と同サイズの画像メモリ９０４５が予め用意されており、抽出された血管位置情報は、例えば血管位置に対応する画素値を１、その他の画素値を０とすることで画像データとして記憶しておく。そして、後段の処理（ステップＳ１０３）では、血管位置情報を画像メモリ９０４５に記憶されている画像データの各画素を参照することで、血管位置を知ることができる。

以下、血管位置抽出処理について説明する。図２は、本発明の実施例１における血管位置抽出処理を説明する図である。図２（Ａ）は血管が映っている近赤外光画像９０１であり、図２（Ｂ）は図２（Ａ）における近赤外光画像９０１の破線矢印で示す水平ライン上のＬ１―Ｌ２間の輝度値を示す輝度グラフである。

血管位置抽出処理は、血管位置抽出部９０２が図２に示すように近赤外光画像９０１の水平ライン上のＬ１―Ｌ２間の画素を抜き出し、抜き出した画素の輝度値に基づき血管２０１であるかどうかの判定に用いる輝度閾値ＴＨ１を算出し、算出した輝度閾値ＴＨ１とＬ１―Ｌ２間の中点となる注目画素の輝度値を比較し、注目画素の輝度値が輝度閾値ＴＨ１よりも小さい場合、注目画素を血管位置として抽出する。図２（Ｂ）では、注目画素Ｃ１の輝度値が輝度閾値ＴＨ１よりも小さいので、注目画素Ｃ１は、血管位置抽出部９０２によって血管２０１として抽出される。

なお、本実施例においては、Ｌ１―Ｌ２間の距離は、例えば撮像する近赤外光画像９０１において想定される血管の太さの最大長の２倍の画素数を設定しておき、輝度閾値ＴＨ１はＬ１―Ｌ２間の画素の輝度値のうち値の大きいほうからＬ１―Ｌ２間の画素数の半分を抜き出し、抜き出した画素の輝度平均値を算出し、算出した輝度平均値を０．８倍した値とする。このように輝度閾値ＴＨ１を算出することで、血管位置と皮膚位置とを分離する閾値を算出することができる。

なお、ここで用いた数値は一例であり、Ｌ１―Ｌ２間の距離は、血管２０１と皮膚２０２とが必ず含まれるように画素距離を設定すればよく、また、平均値に用いる画素の個数はＬ１―Ｌ２間の距離から必ず皮膚２０２の画素となる個数分を設定し、皮膚画素の輝度平均値を求め、輝度閾値ＴＨ１は算出した皮膚画素の輝度平均値を元に皮膚画素の輝度値よりも小さくなる値を設定すればよい。

血管位置抽出部９０２は、この一連の処理を近赤外光画像９０１全体に対し、画像上部から各水平ライン毎に、画像の左側から順に１画素ずつずらしながらＬ１―Ｌ２間の画素を抜きだして行っていくことで、血管位置を順次抽出していく。

なお、ここで用いた血管位置抽出処理は一例であり、他の手法により、相対的に周辺画素よりも輝度値が小さくなっている画素領域を血管位置として抽出してもよい。

こうして抽出した血管位置情報は、以下のステップＳ１０３において参照される。

次に、注射針検出部９０３が近赤外光画像内の注射針位置を検出する（ステップＳ１０２）。図３は、本発明の実施例１における注射針位置検出処理を説明する図である。図３（Ａ）は血管２０１と注射針３０１が映っている近赤外光画像９０１であり、図３（Ｂ）は図３（Ａ）における近赤外光画像９０１のＡ１―Ａ２間の画素の輝度値を示す輝度グラフである。図３（Ｂ）に示す通り、血管画素の輝度値は、近赤外光を吸光しているため皮膚画素の輝度値よりも小さくなる。一方、注射針画素は、近赤外光を強く反射しているため皮膚画素の輝度値よりも大きくなり、また、注射針３０１の側面は曲面のため影となり輝度値が小さくなっている。尚、図３（Ｂ）において水平ライン上の血管部分、注射針部分以外の個所は皮膚部分を表している。

そこで、このような輝度値の特徴を持つ注射針３０１を検出するため、注射針検出部９０３は、注射針３０１の形状を示すライン状のエッジを抽出する画像処理フィルタを用いてエッジ量を求め、求めたエッジ量と所定の閾値との比較を行い、後述する条件を満たす画素を注射針位置として検出するようにする。このようにエッジ量を用いることで、注射針検出部９０３は、照明光に対する注射針３０１の角度により反射光が変化し、注射針画素の輝度値が変化しても、注射針の明るくなる中心部と暗くなる側面部において輝度差ができるため、注射針位置を確実に検出することが可能である。

図４は、本発明の実施例１におけるエッジ量算出に用いる画像処理フィルタの一例を示したものである。なお、エッジ量に関しては、注射針検出部９０３が図４に示す画像処理フィルタを近赤外光画像９０１に重ね合わせ、対応する画素の輝度値と画像処理フィルタの値を乗算し、全ての値を足し合わせて絶対値をとることで求める。

例えば、近赤外光画像９０１の画素の輝度値をＧ１，Ｇ２，Ｇ３，Ｇ４とし、対応する画像処理フィルタの値をＦ１，Ｆ２，Ｆ３，Ｆ４とすると、エッジ量はＧ１×Ｆ１＋Ｇ２×Ｆ２＋Ｇ３×Ｆ３＋Ｇ４×Ｆ４の絶対値を取ることで求まる。そして、注射針検出部９０３は、求めたエッジ量を重ね合わせた各画素のエッジ量とし、近赤外光画像９０１全体に対し画像処理フィルタがはみ出さない範囲で、画像処理フィルタを重ね合わせる位置を１画素ずつずらしながらエッジ量を求めていく。また、注射針検出部９０３がエッジ量を求める際、重ね合わせた画素において、既にエッジ量が求められていた場合は、値の大きいほうを用いることとする。

そして、図４（Ａ）に示すように、注射針３０１は血管２０１の太さに比べ細いので、注射針３０１の太さに合わせて横幅を細くし縦幅が長い例えば縦対横が４対２となる画像処理フィルタを用いてエッジ量を求めると、近赤外光画像９０１内において、細い直線の形状の画素、つまり注射針３０１の画素のエッジ量が最も大きくなり、求めたエッジ量が所定の閾値よりも大きい画素を抽出することで、近赤外光画像９０１内の注射針画素を検出する。尚、この画像処理フィルタでは、縦２列のうち左列のフィルタの値が−１であり、右列のフィルタの値が１である。

また、注射針検出部９０３が検出する注射針において、ある程度太さがある場合は、図４（Ｂ）に示すように例えば縦対横が４対５となる画像処理フィルタを用いエッジ量を求めてもよい。尚、この画像処理フィルタでは、縦５列のうち最左列および最右列のフィルタの値が−１であり、左から２番目の列および右から２番目の列のフィルタの値が１であり、真ん中の列のフィルタの値が０である。この画像処理フィルタを用いた場合、１と０の位置が注射針３０１において明るくなっている画素、−１の位置が注射針３０１の側面画素に重なるとき、最もエッジ量が大きくなる。なお、図４（Ｂ）に示す画像処理フィルタは、注射針３０１の太さが５画素の場合に最適化されたものであり、注射針３０１の太さに応じて、画像処理フィルタ内の０となっている領域の幅を変更してやればよい。

また、図４に示す画像処理フィルタは、近赤外光画像９０１に対し垂直方向の注射針３０１を検出するものであり、検出すべき注射針３０１の方向に合わせて画像処理フィルタを回転したものを用いてもよい。図５は、本発明の実施例１における図４（Ａ）に示す画像処理フィルタを回転させた一例である。つまり、図５（Ａ）は図４（Ａ）に対し略３０度右側に回転させた画像処理フィルタ、図５（Ｂ）は図４（Ａ）に対し略３０度左側に回転させた画像処理フィルタ、図５（Ｃ）は図４（Ａ）に対し略６０度右側に回転させた画像処理フィルタ、図５（Ｄ）は図４（Ａ）に対し略６０度左側に回転させた画像処理フィルタ、図５（Ｅ）は図４（Ａ）に対し略４５度右側に回転させた画像処理フィルタ、図５（Ｆ）は図４（Ａ）に対し略４５度左側に回転させた画像処理フィルタ、図５（Ｇ）は図４（Ａ）に対し略９０度回転させた画像処理フィルタを示している。

さらに、注射針３０１の方向が随時変化する場合は、予め注射針３０１が向く方向に併せて画像処理フィルタを複数個用意しておき、各重ね合わせ位置においてすべての画像処理フィルタを用いて注射針検出部９０３がエッジ量を算出し、各画像処理フィルタ毎に求めたエッジ量のうち、最大のエッジ量を所定の閾値との比較に用いるようにしてもよい。例えば、図４（Ａ）と図５に示す画像処理フィルタを用意しておく。こうすることで、注射針３０１の方向に限らず、注射針画素を検出することができる。

また、注射針検出処理において、エッジ量と比較を行う所定の閾値は、注射針３０１が存在しない状態の生体を撮像した近赤外光画像９０１に対し前記画像処理フィルタを用いてエッジ量を求め、求めた最大のエッジ量よりもさらに大きな値、例えば求めた最大のエッジ量にノイズ等を加味したオフセット値を加えた値を閾値として設定しておくことにより、注射針画素とその他の画素を区別できる閾値を設定することができる。

なお、近赤外光画像９０１と例えば同サイズの画像メモリ９０４５が予め用意されており、上記のように検出された注射針位置情報は、注射針位置に対応する画素値を１、その他の位置の画素値を０とすることで画像データとして記憶される。そして、後段の処理（ステップＳ１０３）では、注射針位置情報を記憶している画像データの各画素を参照することで、近赤外光画像９０１における注射針３０１の有無、また注射針３０１が存在する場合、注射針位置を知ることができる。この注射針位置情報は、以下のステップＳ１０３において参照される。

次に、ステップＳ１０１にて抽出された血管位置情報とステップＳ１０２にて検出された注射針位置情報を元に、強調画像表示部９０４は、撮像した近赤外光画像９０１内の血管位置と注射針位置の画素を強調した強調画像９０５を作成し表示を行う（ステップＳ１０３）。

このステップにおいては、注射針検出部９０３によって注射針３０１が検出されなかった場合は（ステップＳ１０３１）、強調画像表示部９０４が、ステップＳ１０１にて抽出された血管位置情報を元に近赤外光画像９０１の血管画素を強調した強調画像９０５を表示し（ステップＳ１０３５）、一方注射針３０１が検出された場合は（ステップＳ１０３１）、強調画像表示部９０４が、注射針位置情報に基づき近赤外光画像９０１において注射針３０１により影響を受けている領域を決定し（ステップＳ１０３２）、決定した領域に基づき、位置ずれ量を算出した後に（ステップＳ１０３３）、ステップＳ１０１で抽出された血管位置情報（以下、第１の血管位置情報）と、前フレームにおいて近赤外光画像９０１の強調に用いた血管位置情報（以下、第２の血管位置情報）とを合成することで（ステップＳ１０３４）、注射針３０１による影響を受けていない現フレームにおける血管位置情報を生成し、生成した血管位置情報と注射針位置情報を元に近赤外光画像９０１の血管画素と注射針画素を強調した強調画像９０５を表示する（ステップＳ１０３５）。

この処理により、穿刺の際に、近赤外光画像９０１内に注射針３０１が混入しても血管２０１として誤認識することなく正しく血管位置と注射針位置を区別して強調して表示することができるようになる。なお、第２の血管位置情報７０２は、前フレームの血管位置情報を画像メモリ９０４５に画像データとして記憶しているものであり、注射針３０１により誤抽出された血管位置を含まない、正しい血管位置のみで構成された血管位置情報である。

以下、ステップＳ１０３における強調画像表示処理をより具体的に説明する。まず、撮像した近赤外光画像９０１において、注射針影響領域設定部９０４１が注射針３０１が存在するかどうかの判定を行う（ステップＳ１０３１）。これは、ステップＳ１０２で検出された注射針位置情報を用いて行い、例えば注射針位置情報を示す画像データ内の画素値に１となっている画素が存在しない場合、注射針影響領域設定部９０４１は注射針３０１が無いと判断し、ステップＳ１０３５に進む。

一方、画像データ内の画素値に１となっている画素が存在した場合、注射針影響領域設定部９０４１は注射針３０１があると判断し、まず、近赤外光画像９０１内において、注射針３０１によって影響を受けている画素を含む領域を注射針影響領域６０１として設定する（ステップＳ１０３２）。ここでの、注射針３０１により影響を受けている画素とは、ステップＳ１０１における血管抽出処理において、誤って血管画素として抽出されてしまう画素であり、注射針３０１により生体上にできる影６０２（後述の図６参照）や、注射器３０１自身、特には注射針３０１側面の影である。これらの画素は、周辺の画素に比べ輝度値が小さくなるため、血管２０１として誤って抽出される。

図６は、本発明の実施例１における注射針影響領域６０１を説明する図であり、図６（Ａ）は近赤外光画像９０１における注射針位置と注射針影響領域６０１を示し、図６（Ｂ）は注射針影響領域６０１の設定方法を示す図である。

図６（Ａ）において、注射針３０１による影６０２が右側にできており、このような影６０２は必ず注射針３０１周辺にできる。従って、図６（Ｂ）に示すように、まず注射針影響領域設定部９０４１は注射針位置の中心画素位置６０３を求め、そこから所定の範囲を注射針影響領域６０１として設定する。こうすることで、注射針３０１により影響を受けている画素を含む注射針影響領域６０１を設定することができる。

なお、注射針位置の中心画素位置は、注射針位置情報を用い、近赤外光画像９０１の横方向をＸ軸、縦方向をＹ軸とすると、注射針影響領域設定部９０４１によって注射針画素位置のＸ座標，Ｙ座標をそれぞれ全て足し合わせ、足し合わせた値を、注射針画素数で割ることで求める。また、中心画素位置６０３から設定する所定の範囲は、例えば、ＸＹ軸に対して水平，垂直方向に、注射針３０１の中心画素位置６０３から、注射針３０１の先端方向６０４への画素数、注射針３０１の根元方向６０５への画素数、注射針３０１の側面左方向６０６への画素数、注射針３０１の側面右方向６０７への画素数で与え、予め複数の近赤外光画像９０１を用いて、注射針３０１によりできる影６０２と注射針３０１を含む注射器が必ず含まれる範囲を設定しておく。こうして設定された注射針影響領域６０１は、注射針方向に一致した四角形の領域となる。

また、図６では、注射針３０１の方向が近赤外光画像９０１に対し垂直な縦方向である場合における注射針影響領域６０１の設定方法について説明を行ったが、注射針３０１方向が変化した場合は、注射針３０１の傾きに合わせて、注射針影響領域設定部９０４１が、注射針影響領域６０１に含まれる各画素のＸＹ座標値を、注射針位置の中心画素位置６０３を中心に回転させることで、注射針３０１方向が変化しても同等の注射針影響領域６０１を設定する。

なお、注射針３０１の傾きは、注射針影響領域設定部９０４１によって水平１ライン上の注射針画素において中点となるＸ座標をＹ軸上の全ての座標で順次求め、求めた各Ｙ軸における注射針画素の中点を最小２乗近似で結ぶ直線の傾きから求める。そして、注射針影響領域６０１の回転は、例えば一般的に良く用いられている２次元のアフィン変換を用いて行う。アフィン変換は、変換前の座標を（ｘ，ｙ）、変換後の座標を（ｘ’，ｙ’）、反時計回りの回転角度をθとした場合、次のように表される。
ｘ’＝ｘ×ｃｏｓθ＋ｙ×ｓｉｎθ、ｙ’＝−ｘ×ｓｉｎθ＋ｙ×ｃｏｓθ

なお、近赤外光画像９０１と例えば同サイズの画像メモリ９０４５が予め用意されており、こうして検出された注射針影響領域６０１は、注射針影響領域６０１に対応する画素値を１、その他の位置の画素値を０とする画像データとして記憶される。そして、後段の処理では、画像データの各画素を参照することで、注射針影響領域６０１を知ることができる。

次に、位置ずれ量算出部９０４２は、ステップＳ１０１で抽出された第１の血管位置情報７０１と前フレームにおいて近赤外光画像９０１の強調に用いた血管位置情報である第２の血管位置情報７０２とを合成する際に用いる、フレーム間の位置ずれ量を算出する（ステップＳ１０３３）。

一般的に、穿刺の際に腕を移動させることはないが、人間であるため完全に静止することはなく数画素程度位置が変化する。従って、現フレームの第１の血管位置情報７０１と前フレームの第２の血管位置情報７０２を合成するためには、変化した位置ずれ量を求める必要がある。

なお、位置ずれ量は、位置ずれ量算出部９０４２が血管位置情報を示す画像データ間の相関を評価し、相関が最も大きい位置となるＸＹ軸方向の移動量を位置ずれ量として算出する。そして、画像データ間の相関には残差を用い、一対の画像データを重ね合わせてそのときの重なった画素値の差を累積加算して残差を得る。残差は、２枚の画像データのミスマッチ度合いを示しているので、重ね合わせる位置を変更しつつ、各重ね合わせ位置で残差を求め、残差が最小となる重ね合わせ位置を検出することで、位置ずれ量を求めることができる。

また、画像を重ね合わせて残差を求める対象となる画素領域を、第１の血管位置情報７０１のうちステップＳ１０３２において設定した注射針影響領域６０１を除く領域、第２の血管位置情報７０２のうち注射針影響領域６０１に対応する画素領域７０５（後述の図７参照）を除く領域とする。これは、第１の血管位置情報７０１には、注射針３０１により誤った血管位置情報が混入しているため、注射針影響領域６０１および注射針影響領域６０１に対応する画素領域７０５を除くことで、精度良く位置ずれ量を求めることができる。また、さらに、重ね合わせる位置を変更した際、重ね合わせる画素が存在しなくなる領域も残差を求める対象となる画素領域から除いておく。

図７は、本発明の実施例１における現フレームの第１の血管位置情報７０１と前フレームの第２の血管位置情報７０２における位置ずれ量を算出する対象となる位置ずれ量算出領域７０３を示した図である。図７（ｂ）において、位置ずれ量算出領域７０３は、第２の血管位置情報７０２上に斜線で示しており、注射針影響領域６０１に対応する画素領域７０５と、重ね合わせる位置を変更した際、重ね合わせる画素が存在しなくなる画像の周辺部を除いた領域となっている。また、図７（ａ）において、第１の血管位置情報７０１には、血管画素以外にも注射針３０１や注射針３０１による影６０２が血管２０１として誤抽出されている。

従って、図７（ａ）における第１の血管位置情報７０１に対して、図７（ｂ）における第２の血管位置情報７０２を重ね合わせ、第２の血管位置情報７０２において斜線で示している位置ずれ量算出領域７０３に重なる画素において残差を算出することで、正しい血管位置の情報のみを用いて位置ずれ量を算出することができる。

そして、例えば第１と第２の血管位置情報７０１、７０２の左上隅が一致するように重ね合わせた位置を基準とし、位置ずれ量算出部９０４２は重ね合わせる位置をＸＹ軸方向にそれぞれ１画素ずつずらしながら、各位置において残差を求め、求めた残差が最も小さくなる位置のＸＹ軸方向のそれぞれの移動量７０４を位置ずれ量とする。

なお、各位置で求めた残差が全て同値、または複数の位置で同値だった場合には、位置ずれ量算出部９０４２は位置ずれ量をＸＹ軸方向共に０とする。これは、血管位置情報において、位置あわせの基準となる血管２０１が存在しない場合や、１本の直線など単純な血管２０１でどの位置でもマッチングする場合に起こる。このような場合、各血管位置情報の合成の際、位置を移動させる必要は無い。

また、位置ずれ量算出部９０４２による位置ずれ量を算出のために、重ね合わせ位置をずらすＸＹ軸方向の移動量７０４は、フレーム間で血管位置が移動すると想定される最大の画素数を予め設定しておけばよい。

次に、ステップＳ１０３３において算出した位置ずれ量に基づき、血管位置合成部９０４３はステップＳ１０１で抽出した第１の血管位置情報７０１と前フレームの第２の血管位置情報７０２を合成し、注射針３０１によって影響を受けていない現フレームにおける血管位置情報８０１を生成する（ステップＳ１０３４）。

具体的には、血管位置情報合成処理では、血管位置合成部９０４３は、ステップＳ１０３３において算出した位置ずれ量を元に、第１の血管位置情報７０１における注射針影響領域６０１に含まれる各画素に対応する第２の血管位置情報７０２の画素を特定し、第１の血管位置情報７０１における注射針影響領域６０１の各画素の画素値を対応する画素位置の第２の血管位置情報７０２の画素値と置き換えることで、血管位置情報の合成を行う。

図８は、本発明の実施例１における第１の血管位置情報７０１と第２の血管位置情報７０２の合成を示す図である。図８に示すとおり、血管位置合成部９０４３は、図８（ａ）に示すような第１の血管位置情報７０１における注射針影響領域６０１の画素値を、図８（ｂ）に示すように第２の血管位置情報７０２における注射針影響領域６０１に対応する画素領域７０５の画素値と置き換えて合成することで、図８（ｃ）に示すような血管２０１として誤抽出している注射針３０１や注射針３０１による影６０２からなる血管位置情報を除いた、正しい血管のみの合成した血管位置情報８０１を生成する。

また、注射針３０１が移動し、血管２０１が注射針３０１に隠れてしまった場合においても、第２の血管位置情報７０２を用いることで、正確な血管位置を得ることができる。

さらに、注射針影響領域６０１以外は、撮像した現フレームの血管位置情報を用いているため、採血等で血流の状態が変化した場合でも、最新の変化に応じた血管位置情報を得ることができる。

そして、画像強調部９０４４は、以上のステップで作成された血管位置情報と注射針位置情報を元に撮像した近赤外光画像９０１を強調した強調画像９０５を作成し出力することで表示を行う（ステップＳ１０３５）。

なお、表示される強調画像９０５は、例えば１画素がＲＧＢ各８ｂｉｔの輝度値を持つカラー画像とし、画像強調部９０４４は近赤外光画像９０１の血管位置と注射針位置の画素を色付けすることで強調する。一例として、血管位置の画素は赤色成分を強調し、注射針位置の画素は青色成分を強調することで、区別する。また、注射針３０１に隠れている血管位置情報も分かるので、画像強調部９０４４は血管２０１と注射針３０１とが重なり合う画素を、例えば異なる緑色成分を強調し区別することで、観察者にとってさらに分かりやすく強調表示する。

なお、画像強調部９０４４による各画素の強調処理は、血管位置情報と注射針位置情報を示す画像データの各画素値を参照し、血管位置や注射針位置以外の画素は、ＲＧＢ値ともに近赤外光画像９０１の輝度値をそれぞれ代入し、血管位置や注射針位置の画素は、近赤外光画像９０１の輝度値から強調する色成分の色情報を相対的に大きくすることで行う。

具体的には、血管位置画素の赤色成分を強調する場合、画像強調部９０４４が例えばＲ値は近赤外光画像９０１の輝度値を、Ｇ値とＢ値とは近赤外光画像９０１の輝度値から所定の値を減算した値を代入することで行う。この際、近赤外光画像９０１の輝度値から減算する所定の値が大きいほど、Ｒ値が相対的に大きくなるため、より強く強調されることとなる。この減算する値は、観察者が最も区別しやすい値を予め設定しておけばよい。なお、減算結果が負の場合は０を代入する。

同様に、画像強調部９０４４が注射針位置画素の青色成分を強調する場合はＢ値を相対的に大きくし、血管２０１と注射針３０１が重なる位置画素の緑色成分を強調する場合はＧ値を相対的に大きくすればよい。そして、こうして作成した強調画像９０５を表示する。

また、画像強調部９０４４は、上記画像強調と同時に次フレームにおいて用いられる第２の血管位置情報７０２として、強調表示に用いた血管位置情報を、例えば近赤外光画像９０１と同サイズの記憶用の画像メモリ９０４５に記憶しておく。

なお、以上の一連のステップでは、最初のフレームは注射針３０１が存在しない近赤外光画像９０１に対し処理を行い、数フレーム後に穿刺のため注射針３０１が近赤外光画像９０１に入ってくるケースを想定しており、必ず第２の血管位置情報７０２として前フレームの正しい血管位置を示す血管位置情報が記憶されていることが前提となっている。

しかしながら、最初のフレームにおいて近赤外光画像９０１内に注射針３０１が存在する場合、ステップＳ１０３２からステップＳ１０３５の処理を行うにあたり、第２の血管位置情報７０２が記憶されていないため、注射針影響領域６０１における正しい血管位置を表示することができない。

そこで、このような第２の血管位置情報７０２において、注射針影響領域６０１の血管位置情報が記憶されていない場合は、強調画像表示部９０４が表示する強調画像９０５に、その旨を知らせる加工を施し表示することで観察者に通知を行うようにする。そして、通知を受けた観察者は、注射針３０１を移動させることで、記憶されていない領域の第２の血管位置情報７０２を得ることが可能となる。

具体的には、例えば最初に第２の血管位置情報７０２を示す画像メモリ９０４５の画像データを−１で初期化しておく。こうすることで、第２の血管位置情報７０２において注射針影響領域６０１の血管位置情報が記憶されていない場合、第１の血管位置情報７０１と第２の血管位置情報７０２とを合成した血管位置情報において、注射針影響領域６０１の画素値が−１となる。

そして、画像強調部９０４４は、ステップＳ１０３５において強調画像９０５を作成する際、血管位置情報内に−１の画素値が存在した場合、注射針影響領域６０１における第２の血管位置情報７０２が記憶されていないと判断し、−１の画素値を持つ画素を、血管位置や注射針位置を強調する際に用いた色とは異なる色を用い強調する。

例えば、黄色成分を強調することとし、Ｒ値とＧ値は近赤外光画像の輝度値を、Ｂ値は近赤外光画像の輝度値から所定の値を減算した値を代入する。このように通知を行うことで、観察者は黄色で強調された領域から注射針３０１を移動させ、第２の血管位置情報７０２において記憶されていなかった注射針影響領域６０１の血管位置情報が得られる。

このような本発明の実施例１における画像表示装置９００によれば、生体を撮像して得られるデジタル画像を有するフレームを所定の時間間隔で入力する画像入力部と、デジタル画像内の血管位置を血管位置情報として抽出する血管位置抽出部９０２と、血管位置情報を記録する画像メモリ９０４５と、デジタル画像内の注射針の有無及び位置を注射針位置情報として検出する注射針検出部９０３と、血管位置抽出部９０２によって抽出された現フレームにおける第１の血管位置情報、画像メモリ９０４５に記録された前フレームにおける第２の血管位置情報、および注射針位置情報とに基づいて、生体の血管及び注射針を強調したデジタル画像を強調画像として表示する強調画像表示部９０４とを有する構成とすることで、撮像した近赤外光画像９０１に対して、注射針３０１による影響を受けずに正しい血管位置情報を得ることができ、常に最新の血管位置と注射針位置を区別して強調表示することができる。

以下、本発明の実施例２による画像表示装置１２００について、図面を参照しながら説明する。

まず、本発明の実施例２における画像表示装置１２００の説明を行う。図１２は、本発明の実施例２における画像表示装置１２００の要部概略構成を示すブロック図である。

画像表示装置１２００は、例えばコンピュータにより形成され、血管位置抽出部９０２、注射針検出部９０３、および強調画像表示部１２０４を含んで構成される。また、さらに、強調画像表示部１２０４は、注射針影響領域設定部１２０４１、位置ずれ量算出部９０４２、血管位置合成部９０４３、注射針影響領域範囲修正部１２０４２、画像強調部９０４４、および画像メモリ９０４５を含んで構成される。本発明の実施例１で説明した画像表示装置９００と同様の構成のものについては同一符号を付し、説明を省略する。

実施例１の構成と異なる点は、強調画像表示部１２０４の注射針影響領域範囲修正部１２０４２が新たに追加された点である。注射針影響領域範囲修正部１２０４２は、血管位置抽出部９０２から出力される第１の血管位置情報７０１、画像メモリ９０４５に記憶されている第２の血管位置情報７０２、注射針検出部９０３から出力される注射針位置情報、注射針影響領域設定部１２０４１から出力される注射針影響領域６０１、および位置ずれ量算出部９０４２から出力される位置ずれ量を用いて、注射針影響領域６０１の範囲をフレーム毎に修正し、修正した注射針影響領域６０１の範囲を注射針影響領域設定部１２０４１へ出力する。

以上のように構成された画像表示装置１２００を用い、血管位置抽出部９０２では例えばステップＳ２０１で行う処理を、注射針検出部９０３では例えばステップＳ２０２で行う処理を、強調画像表示部１２０４では例えばステップＳ２０３で行う処理を行い、さらに強調画像表示部１２０４の内部において、注射針影響領域設定部１２０４１では例えばステップＳ２０３２で行う処理を、位置ずれ量算出部９０４２では例えばステップＳ２０３３で行う処理を、血管位置合成部９０４３では例えばステップＳ２０３４で行う処理を、注射針影響領域範囲修正部１２０４２では例えばステップＳ２０３５で行う処理を、画像強調部９０４４では例えばステップＳ２０３１とステップＳ２０３６で行う処理を行うことで、フレーム毎に、撮像した近赤外光画像９０１に合わせて最適な注射針影響領域６０１を設定することができ、血管位置情報をより有効に用いることができるようになる。

次に、本発明の実施例２における画像表示装置１２００が行う処理について説明する。
図１０は、本発明の実施例２における画像表示装置１２００が行う処理を示すフローチャートである。図１０のフローチャートはステップＳ２０１ないしステップＳ２０３からなり、ステップＳ２０１は血管位置抽出工程の一例を、ステップＳ２０２は注射針検出工程の一例を、ステップＳ２０３１からステップＳ２０３６からなるステップＳ２０３は強調画像表示工程の一例を、それぞれ示し、生体を連続して撮像した近赤外光画像９０１に対し、各フレームでこれらステップの処理を行う。

実施例１の処理と異なる点は、注射針影響領域範囲修正工程の一例が新しく追加され、注射針影響領域設定工程の一例において用いられる注射針影響領域の範囲を、フレーム毎に、第１の血管位置情報７０１の注射針影響領域６０１に含まれる画素領域および第２の血管位置情報７０２の注射針影響領域６０１に対応する画素領域７０５の輝度値に基づき、撮像した近赤外光画像９０１に対し最適となるように修正し、次フレームにおける注射針影響領域設定工程の一例では、修正した注射針影響領域６０１の範囲を用いて注射針影響領域６０１を設定するようにした点が異なる。

このように、注射針影響領域６０１の範囲をフレーム毎に修正し、次フレームへフィードバックすることにより、必要最小限の範囲の注射針影響領域６０１を設定することとなり、血管位置情報をより有効に用いることができるようになる。

具体的には、位置ずれ量算出工程の一例において位置ずれ量の算出に用いる血管位置情報が増えるので精度の向上が図れる。また、血管位置情報合成工程の一例においては第１の血管位置情報７０１をより多く使用することとなり、さらに多くの最新の血管位置情報を表示することが可能となる。

以下、実施例１と同様に、近赤外光を生体に対し上部から照射し反射光を撮像した近赤外光画像９０１に対し、本発明の実施例２の画像表示装置１２００が行う画像処理をフローチャートに従って詳細に説明する。

まず、図１のステップＳ１０１と同様に、血管位置抽出部９０２は近赤外光画像９０１に対して血管位置を抽出する（ステップＳ２０１）。そして、血管位置抽出部９０２によって抽出された血管位置情報は、近赤外光画像９０１と例えば同サイズの画像メモリ９０４５を予め用意しておき、血管位置に対応する画素値を１、その他の画素値を０とすることで画像データとして記憶される。なお、血管位置を抽出する処理は、図１のステップＳ１０１と同様であるため、ここでは説明を省略する。

次に、図１のステップＳ１０２と同様に、注射針検出部９０３は近赤外光画像９０１内の注射針位置を検出する（ステップＳ２０２）。そして、近赤外光画像９０１と同サイズの画像メモリ９０４５が予め用意されており、注射針検出部９０３によって検出された注射針位置情報は、注射針位置に対応する画素値を１、その他の画素値を０とすることで画像データとして記憶される。なお、注射針位置を検出する処理は、図１のステップＳ１０２と同様であるため、ここでは説明を省略する。

そして、次に、図１のステップＳ１０３と同様に、注射針検出部９０３によって注射針３０１が検出されなかった場合には（ステップＳ２０３１）、強調画像表示部１２０４は、ステップＳ２０１にて抽出された血管位置情報を元に近赤外光画像９０１の血管画素を強調した強調画像９０５を表示する（ステップＳ２０３６）。

一方、注射針検出部９０３によって注射針３０１が検出された場合には（ステップＳ２０３１）、強調画像表示部１２０４は、注射針位置情報に基づき近赤外光画像９０１において注射針３０１により影響を受けている領域を決定し（ステップＳ２０３２）、決定した領域に基づき、位置ずれ量を算出した後に（ステップＳ２０３３）、ステップＳ２０１で抽出された第１の血管位置情報７０１と、前フレームにおいて近赤外光画像９０１の強調に用いた第２の血管位置情報７０２を合成することで注射針３０１による影響を受けていない現フレームにおける血管位置情報８０１を生成し（ステップＳ２０３４）、生成した血管位置情報と注射針位置情報を元に、近赤外光画像９０１の血管画素と注射針画素を強調した強調画像９０５を表示する（ステップＳ２０３６）。そして、強調画像表示部１２０４は、これらの一連の処理に加え、さらに、注射針影響領域６０１の範囲を修正し（ステップＳ２０３５）、次フレームへフィードバックする処理も行う（ステップＳ２０３）。

以下、ステップＳ２０３における強調画像表示処理をより具体的に説明する。まず、図１のステップＳ１０３１と同様に撮像した近赤外光画像９０１において、注射針検出部９０３は、注射針３０１が存在するかどうかの判定を行う（ステップＳ２０３１）。そして注射針３０１が無い場合、ステップＳ２０３６に進む。

一方、注射針３０１が存在する場合には、注射針影響領域設定部１２０４１は、近赤外光画像９０１内において、注射針３０１によって影響を受けている画素を含む領域を注射針影響領域６０１として設定する（ステップＳ２０３２）。このステップＳ２０３２においては、図１のステップＳ１０３２で用いた所定の範囲を初期値とし、それ以降のフレームでは後段のステップＳ２０３５にて修正された範囲を用いて、ステップＳ１０３２と同様にして注射針影響領域６０１を設定する。

そして、図１のステップＳ１０３３と同様に、位置ずれ量算出部９０４２は、血管位置合成部９０４３が第１の血管位置情報７０１と第２の血管位置情報７０２とを合成する際に用いるフレーム間の位置ずれ量を算出する（ステップＳ２０３３）。

そして、図１のステップＳ１０３４と同様に、位置ずれ量算出部９０４２によって求めた位置ずれ量に基づき、血管位置合成部９０４３が第１の血管位置情報７０１と第２の血管位置情報７０２を合成し、注射針３０１によって影響を受けていない現フレームにおける血管位置情報８０１を生成する（ステップＳ２０３４）。

そして次に、注射針影響領域６０１における第１の血管位置情報７０１と第２の血管位置情報７０２とに基づき、注射針影響領域範囲修正部１２０４２は、ステップＳ２０３２で用いる注射針影響領域６０１の範囲を修正する処理を行う（ステップＳ２０３５）。

図８に示すように、図８（ａ）の注射針影響領域６０１において、第１の血管位置情報７０１では注射針３０１の画素と注射針３０１によりできる影６０２の画素が血管画素として誤抽出されているが、図８（ｂ）において第２の血管位置情報７０２は正しい血管位置のみで構成されているため、血管２０１の誤抽出画素は存在していない。

従って、第１の血管位置情報７０１における注射針影響領域６０１およびと第２の血管位置情報７０２における注射針影響領域６０１に対応する画素領域７０５において、差異がある画素を注射針３０１により影響を受けている影響画素１１０３（図１１参照）として特定することができる。そして、特定した影響画素１１０３を含むように注射針影響領域範囲修正部１２０４２が注射針影響領域６０１の範囲を修正することで、必要最小限の範囲を設定することが可能となる。

具体的には、注射針影響領域範囲修正部１２０４２は、第１の血管位置情報７０１の注射針影響領域６０１の画素に対して、ステップＳ２０３３で算出された位置ずれ量を元に、対応する第２の血管位置情報７０２の注射針影響領域６０１に対応する画素領域７０５の画素を見つけ、各対応する画素位置において画素値の差の絶対値を求め、求めた絶対値が所定の閾値よりも大きくなっている画素を注射針３０１により影響を受けている影響画素１１０３として特定する。

なお、本実施例の説明では血管位置情報において、血管画素を１、その他の画素を０としているため、画素値の差の絶対値が１となる画素が影響画素１１０３となる。また、注射針３０１が存在する画素も影響を与えるので、注射針３０１を確実に影響画素１１０３とするため注射針位置情報に示す注射針位置の画素も影響画素１１０３とする。

そして、図１１に示すように、注射針影響領域範囲修正部１２０４２は、注射針画素位置の中心画素から、注射針３０１の先端方向、根元方向、側面左方向、側面右方向への画素数で与えられている注射針影響領域６０１の範囲を、影響画素１１０３が含まれる必要最小限の範囲となるように修正を行う。図１１においては、修正前の注射針影響領域１１０１から修正後の注射針影響領域１１０２へ領域を変更している。図１１は本発明の実施例２における注射針影響領域６０１の範囲を修正する場合の注射針影響領域６０１の範囲を示す図である。

より具体的には、注射針影響領域６０１における最も端に位置する影響画素１１０３、つまり、横軸をＸ軸、縦軸をＹ軸とし、それぞれ右方向、下方向ほど座標値が大きくなるものとした場合、注射針影響領域範囲修正部１２０４２は、最もＸ座標が小さい影響画素１１０３を左端位置、最もＸ座標が大きい影響画素１１０３を右端位置、最もＹ座標が小さい影響画素１１０３を上端位置、最もＹ座標が大きい影響画素１１０３を下端位置、とする影響画素１１０３を探索し、探索した端位置の影響画素位置からさらに所定のオフセット値分、ＸＹ軸方向外側に位置する画素も含まれるように、注射針影響領域６０１の範囲を修正する。従って、図１１に示す修正後の注射針影響領域１１０２では、最も端に位置する影響画素１１０３からオフセット分、外側に広い範囲の注射針影響領域６０１となっている。

なお、ここで用いるオフセット値には、フレーム間における注射針３０１の変化量を設定しておく。これにより、次フレームにおいても確実に、注射針影響領域６０１の範囲内に注射針３０１により影響を受ける画素を収めることができ、近赤外光画像９０１内の注射針位置に応じて、注射針影響領域６０１の範囲を縮小または拡大することが可能となる。

また、さらに注射針影響領域６０１の範囲の修正処理において、範囲の修正処理を、注射針３０１の先端方向、側面左方向、側面右方向でのみ行い、注射針３０１の根元方向では行わないようにしてもよい。これは、注射針３０１の根元方向には確実に注射器が存在するため、初期値から変更しないようにすることで、演算量を減らすことができる。

以上のようにして求めた注射針影響領域６０１の範囲は、次フレームにおける注射針影響領域６０１を設定する際に用いられる。

そして、最後に、図１のステップＳ１０３５と同様に、画像強調部９０４４は、血管位置情報と注射針位置情報とを元に撮像した近赤外光画像９０１を強調した強調画像９０５を作成し出力することで表示を行う（ステップＳ２０３６）。

以上のように、本発明の実施例２における画像表示装置１２００によれば、第１の血管位置情報と第２の血管位置情報とのうち、注射針影響領域６０１に含まれる血管位置情報に基づき、注射針により影響を受けている画素を影響画素として検出し、検出された影響画素が含まれるように、注射針影響領域の範囲を修正する注射針影響領域範囲修正部１２０４２をさらに有し、注射針影響領域設定部１２０４１が、次フレームにおいて、注射針影響領域範囲修正部１２０４２によって修正された注射針影響領域の範囲を用いて注射針影響領域を設定する構成とすることで、フレーム毎に、撮像した近赤外光画像９０１に合わせて最適な注射針影響領域６０１を設定することができ、血管位置情報をより有効に用いることができるようになる。

本発明にかかる画像表示装置及び画像表示方法は、デジタル画像中の特定領域を強調して表示する各種処理装置に有用であり、特に、デジタル画像中の血管位置や注射針位置を強調して表示する装置等として有効である。

本発明の実施例１における画像表示装置の動作を説明するフローチャート 本発明の実施例１における画像表示装置の血管位置抽出処理を説明する図 本発明の実施例１における画像表示装置の注射針位置検出処理を説明する図 本発明の実施例１における画像表示装置の注射針検出を行う場合の画像処理フィルタの一例を示す図 本発明の実施例１における同画像表示装置の注射針検出処理で用いる画像処理フィルタを回転させた一例を示す図 本発明の実施例１における画像表示装置の注射針影響領域を説明する図 本発明の実施例１における画像表示装置の位置ずれ量算出処理における位置ずれ量算出領域を示す図 本発明の実施例１における画像表示装置の血管位置合成処理における血管位置情報の合成を示す図 本発明の実施例１における画像表示装置のブロック図 本発明の実施例２における画像表示装置の動作を説明するフローチャート 本発明の実施例２における画像表示装置の注射針影響領域範囲修正処理における注射針影響領域の範囲を示す図 本発明の実施例２における画像表示装置のブロック図 従来の血管位置提示装置を示す図

符号の説明

２０１ 血管
２０２ 皮膚
３０１ 注射針
６０１ 注射針影響領域
６０２ 注射針による影
６０３ 中心画素
６０４ 先端方向
６０５ 根元方向
６０６ 側面左方向
６０７ 側面右方向
７０１ 第１の血管位置情報
７０２ 第２の血管位置情報
７０３ 位置ずれ量算出領域
７０４ 重ね合わせのＸＹ軸方向の移動量
７０５ 注射針影響領域に対応する画素領域
８０１ 合成した血管位置情報
９００ 画像表示装置
９０１ 近赤外光画像
９０２ 血管位置抽出部
９０３ 注射針検出部
９０４ 強調画像表示部
９０５ 強調画像
９０４１ 注射針影響領域設定部
９０４２ 位置ずれ量算出部
９０４３ 血管位置合成部
９０４４ 画像強調部
９０４５ 画像メモリ
１１０１ 修正前の注射針影響領域
１１０２ 修正後の注射針影響領域
１１０３ 影響画素
１２００ 画像表示装置
１２０４ 強調画像表示部
１２０４１ 注射針影響領域設定部
１２０４２ 注射針影響領域範囲修正部
１３０１ 腕
１３０２ 筐体
１３０３ 液晶表示部
１３０４ トラックボール
１３０５ 穿刺マーカ
１３０６ 血管
１３０７ カーソル
１３０８ 入力用ボタン
１３０９ 足場
１３１０ 足場

Claims (18)

1. 生体を撮像して得られるデジタル画像を有するフレームを所定の時間間隔で入力する画像入力部と、
   前記デジタル画像内の血管位置を血管位置情報として抽出する血管位置抽出部と、
   前記血管位置情報を記録する記録部と、
   前記デジタル画像内の注射針の有無及び位置を注射針位置情報として検出する注射針検出部と、
   前記血管位置抽出部によって抽出された現フレームにおける第１の血管位置情報、前記記録部に記録された前フレームにおける第２の血管位置情報、および前記注射針位置情報とに基づいて、前記生体の血管及び前記注射針を強調したデジタル画像を強調画像として表示する強調画像表示部と、
   を有することを特徴とする画像表示装置。
2. 前記血管位置情報は前記血管位置における血管画素に関する情報を含み、
   前記注射針位置情報は前記注射針位置における注射針画素に関する情報を含み、
   前記強調画像表示部は、
   前記注射針位置情報に基づき、前記注射針位置の中心位置から所定の範囲を注射針影響領域として設定する注射針影響領域設定部と、
   前記第１の血管位置情報のうち前記注射針影響領域を除く領域の血管位置情報および前記第２の血管位置情報のうち前記領域に対応する第１の対応領域の血管位置情報に基づいて、フレーム間の位置ずれ量を算出する位置ずれ量算出部と、
   前記位置ずれ量に基づいて、前記第１の血管位置情報のうち前記注射針影響領域を除く領域の血管位置情報と、前記第２の血管位置情報のうち前記注射針影響領域に対応する第２の対応領域の血管位置情報とを合成し、現フレームの血管位置情報とする血管位置合成部と、
   前記現フレームの血管位置情報および前記注射針位置情報に基づいて、前記デジタル画像における前記血管画素と前記注射針画素とを強調した前記強調画像を作成し出力する画像強調部と、
   を有することを特徴とする請求項１に記載の画像表示装置。
3. 前記血管位置抽出部は、
   前記デジタル画像に対して、相対的に周辺画素よりも輝度値が小さい画素領域を血管位置として抽出することを特徴とする請求項１に記載の画像表示装置。
4. 前記注射針検出部は、
   前記注射針の形状のエッジを抽出する画像処理フィルタを用いて各画素におけるエッジ量を求め、求められたエッジ量と所定の閾値との比較を行い、前記エッジ量が前記所定の閾値よりも大きい画素を注射針位置として検出することを特徴とする請求項１に記載の画像表示装置。
5. 前記注射針検出部は、
   前記画像処理フィルタを前記注射針が向く方向に合わせて複数個用意しておき、各画像処理フィルタ毎に求めたエッジ量のうち、最大のエッジ量を前記所定の閾値との比較に用いることを特徴とする請求項４に記載の画像表示装置。
6. 前記注射針検出部で用いる所定の閾値は、
   前記注射針が存在しない状態の生体を撮像したデジタル画像に対し前記画像処理フィルタを用いてエッジ量を求め、求めた最大のエッジ量よりも大きな値を設定することを特徴とする請求項４に記載の画像表示装置。
7. 前記注射針影響領域設定部によって前記注射針影響領域を設定する際に用いる所定の範囲は、
   前記注射針により前記生体上にできる影と前記注射器とが含まれる範囲を設定することを特徴とする請求項２に記載の画像処理装置。
8. 前記注射針影響領域設定部は、
   前記注射針の向きに合わせて前記所定の範囲を回転させて前記注射針影響領域を設定することを特徴とする請求項２に記載の画像表示装置。
9. 前記画像強調部は、
   前記現フレームの血管位置情報を第２の血管位置情報として前記記録部へ記憶することを特徴とする請求項２記載の画像表示装置。
10. 前記画像強調部は、
    前記血管位置情報と前記注射針位置情報に基づき、前記デジタル画像内の前記血管画素を第１の色に、前記注射針画素を第２の色に、前記血管と前記注射針とが重なり合う画素を第３の色により強調することを特徴とする請求項２に記載の画像処理装置。
11. 前記画像強調部は、
    前記第２の血管位置情報において前記第２の対応領域における血管位置情報が記録部によって記憶されていない場合、前記強調画像を加工し表示することで通知を行うことを特徴とする請求項２記載の画像表示装置。
12. 前記強調画像の加工は、
    前記強調画像における前記注射針影響領域の画素を第４の色により強調することを特徴とする請求項１１に記載の画像処理装置。
13. 前記第１の血管位置情報と第２の血管位置情報とのうち、前記注射針影響領域に含まれる血管位置情報に基づき、前記注射針により影響を受けている画素を影響画素として検出し、検出された前記影響画素が含まれるように、前記注射針影響領域の範囲を修正する注射針影響領域範囲修正部をさらに有し、
    前記注射針影響領域設定部は、
    次フレームにおいて、前記注射針影響領域範囲修正部によって修正された注射針影響領域の範囲を用いて注射針影響領域を設定することを特徴とする請求項２に記載の画像表示装置。
14. 前記注射針影響領域範囲修正部は、
    前記注射針影響領域の各位置において、前記第１の血管位置情報と前記第２の血管位置情報との差分値の絶対値を求め、求められた絶対値が所定の閾値よりも大きくなっている位置および前記注射針検出部によって検出された注射針位置を前記影響画素とすることを特徴とする請求項１３に記載の画像表示装置。
15. 前記注射針影響領域範囲修正部は、
    前記注射針の側面方向および先端方向でのみ前記注射針影響領域の範囲の修正を行うことを特徴とする請求項１３に記載の画像表示装置。
16. 生体が撮像されて得られるデジタル画像を有するフレームが所定の時間間隔で入力される画像入力工程と、
    前記デジタル画像内の血管位置が血管位置情報として抽出される血管位置抽出工程と、
    前記血管位置情報が記録される記録工程と、
    前記デジタル画像内の注射針の有無及び位置が注射針位置情報として検出される注射針検出工程と、
    前記血管位置抽出工程において抽出された現フレームにおける第１の血管位置情報、前記記録工程において記録された前フレームにおける第２の血管位置情報、および前記注射針位置情報とに基づいて、前記生体の血管及び前記注射針が強調されたデジタル画像が強調画像として表示される強調画像表示工程と、
    を有することを特徴とする画像表示方法。
17. 前記血管位置情報は前記血管位置における血管画素に関する情報を含み、
    前記注射針位置情報は前記注射針位置における注射針画素に関する情報を含み、
    前記強調画像表示工程は、
    前記注射針位置情報に基づき、前記注射針位置の中心位置から所定の範囲が注射針影響領域として設定される注射針影響領域設定工程と、
    前記第１の血管位置情報のうち前記注射針影響領域を除く領域の血管位置情報および前記第２の血管位置情報のうち前記領域に対応する第１の対応領域の血管位置情報に基づいて、フレーム間の位置ずれ量が算出される位置ずれ量算出工程と、
    前記位置ずれ量に基づいて、前記第１の血管位置情報のうち前記注射針影響領域を除く領域の血管位置情報と前記第２の血管位置情報のうち前記注射針影響領域に対応する第２の対応領域の血管位置情報とが合成され、現フレームの血管位置情報とされる血管位置合成工程と、
    前記現フレームの血管位置情報および前記注射針位置情報に基づいて、前記デジタル画像における前記血管画素と前記注射針画素とを強調した前記強調画像が作成され出力される画像強調工程と、
    を有することを特徴とする請求項１６に記載の画像表示方法。
18. 前記第１の血管位置情報と第２の血管位置情報とのうち、前記注射針影響領域に含まれる血管位置情報に基づき、前記注射針により影響を受けている画素が影響画素として検出され、検出された前記影響画素が含まれるように、前記注射針影響領域の範囲が修正される注射針影響領域範囲修正工程をさらに有し、
    前記注射針影響領域設定工程は、
    次フレームにおいて、前記注射針影響領域範囲修正部によって修正された注射針影響領域の範囲を用いて注射針影響領域が設定されることを特徴とする請求項１７に記載の画像表示方法。
    

Images