JP2005056282A - 画像処理方法、画像処理装置、およびプログラム - Google Patents

画像処理方法、画像処理装置、およびプログラム Download PDF

Info

Publication number
JP2005056282A
JP2005056282A JP2003288259A JP2003288259A JP2005056282A JP 2005056282 A JP2005056282 A JP 2005056282A JP 2003288259 A JP2003288259 A JP 2003288259A JP 2003288259 A JP2003288259 A JP 2003288259A JP 2005056282 A JP2005056282 A JP 2005056282A
Authority
JP
Japan
Prior art keywords
image data
data
mask
generating
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003288259A
Other languages
English (en)
Inventor
Ariyoshi Kato
有美 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003288259A priority Critical patent/JP2005056282A/ja
Publication of JP2005056282A publication Critical patent/JP2005056282A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Collating Specific Patterns (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】画像データをマスク処理する際に用いる最適なマスク画像データを生成することができる画像処理方法、画像処理装置、およびプログラムを提供する。
【解決手段】画像データS11を構成し、予め規定された範囲r1の画素値を示す複数の画素データについて画素データの分布を示す分布データd1を生成する分布データ生成部222と、分布データ生成部222が生成した分布データd11および予め設定した値Mthを基に、詳細には分布データd1中のマスク処理対象の特徴を示すパターンd11を基に閾値Mを特定する特定部223と、画像データS11(S221)を、特定部223が特定した閾値を基に2値化してマスク画像データS22を生成する2値化部224および細化部225とを設ける。
【選択図】図4

Description

本発明は、例えば被検体等を撮像して得られた画像データを処理する画像処理方法、画像処理装置、およびプログラムに関するものである。
従来、例えば被検体(生体)を撮像して得られた画像データを用いて個人識別する識別装置が知られている(例えば、特許文献1参照)。
上述した従来の識別装置では、例えば被検体の手の透過光を撮像して、その画像データの画素値について予め決められた閾値を基に2値化画像データを生成して識別処理を行う。例えば識別装置は、2値化画像データの内の血管の配置を示すパターンを基に識別処理を行う。
特開平10−127609号公報
ところで、例えば被検体(生体)の一部、例えば指や腕等を撮影した画像データから認証に必要な情報、例えば血管情報等を抽出するために、認証に不必要な部分画像のマスク処理を行う方法が知られている。
そのマスク処理を行う際に用いるマスク画像データを生成する方法としては、例えば予め画素値の閾値(スレッシュホールド値)を設定し、画像データをその画素値を基に二値化処理を行い、マスク画像データを生成していた。
しかし、例えば被検体を撮像して得られた画像データは撮像条件、例えば撮像時の照射光や、被検体毎の光の透過率等が異なるために、上述したように予め設定した閾値を基に生成されたマスク画像データを用いてマスク処理を行った場合、適切に識別(認証)に必要な情報を抽出できないという問題があった。
本発明は、かかる事情に鑑みてなされたものであり、その目的は、画像データをマスク処理する際に用いる最適なマスク画像データを生成することができる画像処理方法、画像処理装置、およびプログラムを提供することにある。
前記目的を達成するために、本発明の第1の観点は、第1の画像データをマスク処理する際に用いるマスク画像データを生成する画像処理方法であって、前記第1の画像データを構成し、予め規定された範囲の画素値を示す複数の画素データについて前記画素データの分布を示す分布データを生成する第1のステップと、前記第1のステップで生成した分布データおよび予め設定した値を基に、前記マスク画像データを生成するための閾値を特定する第2のステップと、前記第1の画像データを、前記第2のステップで特定した閾値を基に2値化して前記マスク画像データを生成する第3のステップとを有する。
さらに、前記目的を達成するために、本発明の第2の観点は、第1の画像データをマスク処理する際に用いるマスク画像データを生成する画像処理方法であって、前記第1の画像データを構成し、予め規定された第1の範囲の画素値を示す複数の画素データについて前記画素データの分布を示す分布データを生成する第1のステップと、前記第1のステップで生成した分布データおよび予め設定した値を基に、前記マスク画像データを生成するための第2の範囲を特定する第2のステップと、前記第2のステップで特定した第2の範囲内にある画素データを前記第1の範囲にマッピングして、当該マッピングした前記画素データで構成される第3の画像データを生成する第3のステップと、前記第3のステップで生成した前記第3の画像データを、前記第1の範囲で規定された閾値を基に2値化して前記マスク画像データを生成する第4のステップとを有する。
さらに、前記目的を達成するために、本発明の第3の観点は、第1の画像データをマスク処理する際に用いるマスク画像データを生成する画像処理装置であって、前記第1の画像データを構成し、予め規定された範囲の画素値を示す複数の画素データについて前記画素データの分布を示す分布データを生成する分布データ生成手段と、前記分布データ生成手段が生成した分布データおよび予め設定した値を基に、前記マスク画像データを生成するための閾値を特定する特定手段と、前記第1の画像データを、前記特定手段が特定した閾値を基に2値化して前記マスク画像データを生成するマスク画像データ生成手段とを有する。
さらに、前記目的を達成するために、本発明の第4の観点は、第1の画像データをマスク処理する際に用いるマスク画像データを生成する画像処理装置であって、前記第1の画像データを構成し、予め規定された第1の範囲の画素値を示す複数の画素データについて前記画素データの分布を示す分布データを生成する分布データ生成手段と、前記分布データ生成手段が生成した分布データおよび予め設定した値を基に、前記マスク画像データを生成するための第2の範囲を特定する特定手段と、前記特定手段が特定した第2の範囲内にある画素データを前記第1の範囲にマッピングして、当該マッピングした前記画素データで構成される第3の画像データを生成するマッピング手段と、前記マッピング手段が生成した前記第3の画像データを、前記第1の範囲で規定された閾値を基に2値化して前記マスク画像データを生成するマスク画像データ生成手段とを有する。
さらに、前記目的を達成するために、本発明の第5の観点は、第1の画像データをマスク処理する際に用いるマスク画像データを生成する画像処理装置に実行されるプログラムであって、前記第1の画像データを構成し、予め規定された範囲の画素値を示す複数の画素データについて前記画素データの分布を示す分布データを生成する第1の手順と、前記第1の手順で生成した分布データおよび予め設定した値を基に、前記マスク画像データを生成するための閾値を特定する第2の手順と、前記第1の画像データを、前記第2の手順で特定した閾値を基に2値化して前記マスク画像データを生成する第3の手順とを有する。
さらに、前記目的を達成するために、本発明の第6の観点は、第1の画像データをマスク処理する際に用いるマスク画像データを生成する画像処理装置に実行されるプログラムであって、前記第1の画像データを構成し、予め規定された第1の範囲の画素値を示す複数の画素データについて前記画素データの分布を示す分布データを生成する第1の手順と、前記第1の手順で生成した分布データおよび予め設定した値を基に、前記マスク画像データを生成するための第2の範囲を特定する第2の手順と、前記第2の手順で特定した第2の範囲内にある画素データを前記第1の範囲にマッピングして、当該マッピングした前記画素データで構成される第3の画像データを生成する第3の手順と、前記第3の手順で生成した前記第3の画像データを、前記第1の範囲で規定された閾値を基に2値化して前記マスク画像データを生成する第4の手順とを有する。
本発明の第1の観点、第3の観点、および第5の観点によれば、例えばプログラムおよび当該プログラムを実行する画像処理装置において、第1のステップおよび第1の手順では、分布データ生成手段が前記第1の画像データを構成し、予め規定された範囲の画素値を示す複数の画素データについて前記画素データの分布を示す分布データを生成する。
第2のステップおよび第2の手順における、特定手段では、分布データ生成手段が生成した分布データおよび予め設定した値を基に、前記マスク画像データを生成するための閾値を特定する。
第3のステップおよび第3の手順における、マスク画像データ生成手段では、前記第1の画像データを、前記特定手段が特定した閾値を基に2値化して前記マスク画像データを生成する。
また、本発明の第2の観点、第4の観点、第6の観点によれば、例えばプログラムおよび当該プログラムを実行する画像処理装置において、第1のステップおよび第1の手順では、分布データ生成手段が、第1の画像データを構成し、予め規定された第1の範囲の画素値を示す複数の画素データについて画素データの分布を示す分布データを生成する。
第2のステップおよび第2の手順における、特定手段では、分布データ生成手段で生成した分布データおよび予め設定した値を基に、マスク画像データを生成するための第2の範囲を特定する。
第3のステップおよび第3の手順における、マッピング手段では、特定手段で特定した第2の範囲内にある画素データを第1の範囲にマッピングして、当該マッピングした画素データで構成される第3の画像データを生成する。
第4のステップおよび第4の手順における、マスク画像データ生成手段では、マッピング手段で生成した第3の画像データを、第1の範囲で規定された閾値を基に2値化してマスク画像データを生成する。
本発明によれば、画像データをマスク処理する際に用いる最適なマスク画像データを生成することができる画像処理方法、画像処理装置、およびプログラムを提供することができる。
本発明に係る画像処理装置は、例えば、被検体等を撮像して得られた画像データから、認証に必要な情報と、認証に不必要な情報とを分離して、認証に必要な情報を抽出する。その際、画像データを構成し、予め規定された範囲の画素値を示す複数の画素データについて、画素データの分布を示す分布データを生成し、その分布データを基に画像データからマスク画像データを生成し、そのマスク画像データを用いて、上述の抽出処理を行う。
以下、本発明に係る画像処理装置の第1実施形態として、被検体hとしての生体中の血管が形成された部位を撮像して画像データを生成し、その画像データを画像処理して血管情報を抽出し、認証処理を行う画像処理装置を説明する。
図1は、本発明に係る画像処理装置の第1実施形態を示す全体の概念図である。
本実施形態に係る画像処理装置1は、図1に示すように、撮像系101、抽出部102、および認証部103を有する。画像処理装置1は本発明に係る画像処理装置に相当する。
撮像系101は、被検体hを撮像して画像データを生成し、その画像データを信号S11として抽出部102に出力する。
撮像系101は、詳細には照射部1011および光学レンズ1012を有する。
照射部1011は、例えばハロゲンランプ等より構成され、制御信号により被検体hの一部に電磁波、例えば近赤外線を照射する。
例えば被検体hとしての生体に電磁波を照射した場合、波長領域600nm〜1300nm程度の赤色から赤外領域の近赤外線は、他の波長領域の電磁波と比較して透過性が高い。この波長領域では血中のヘモグロビンによる光吸収が支配的である。
例えば被検体hとして手の甲側から近赤外線を照射し、掌側から透過光を撮像した場合に、電磁波は血中のヘモグロビンにより吸収されるため、掌側表面近傍の太い血管に相当する領域が、血管に相当する領域以外の領域よりも暗い画像データが得られる。
特に血管の静脈は、成長過程で形成され後天性のものであり、この血管の形状は個人差が大きい。本実施形態では、この血管を撮像して得られた画像データを個人特有の識別情報として認証処理に用いる例につき説明する。
また、被検体hを撮像して得られた画像データには、上述した認証に必要な情報と、それ以外の認証に不必要な情報とを含む。認証に不必要な情報は、例えば枠(治具の部分)の部分であり、所定の階調の画像データの内でその部分の画素値は略0であり、つまり略黒色である。
一方、画像データの内、認証に必要な指部の黒色部は、枠の黒色部よりも画素値が大きい。
本実施形態では画像データから画素値の分布を示す分布データ(ヒストグラム)を生成し、その分布データに基づいて、枠の黒部と、指部の黒部分との境界を特定し、認証に必要な画像データと、認証に不必要な画像データとを分離する。
光学レンズは1012は、被検体hからの透過光を撮像部11に結像する。
撮像部11は、光学レンズ1012により結像された透過光を基に画像データS11を生成する。例えば撮像部11は、CCD(Charge-coupled device :電荷結合素子)型画像センサや、C−MOS(Complementary metal-oxide semiconductor )型画像センサにより構成され、画像データS11を抽出部102に出力する。この際、画像データS11はRGB(red-green-blue)信号であってもよいし、それ以外の色やグレースケール等の画像データであってもよい。
抽出部102は、画像データS11を基に画像処理を行い、例えばマスク画像データを生成し、マスク画像データを基に認証に用いる画像データ、例えばスケルトン画像データを抽出して信号S102として認証部103に出力する。
認証部103は、抽出部102による信号S102を基に、予め記憶する登録画像データと照合処理を行い、認証処理を行う。
図2は、図1に示した画像処理装置のハードウェア的なブロック図である。
画像処理装置1は、例えば図2に示すように、撮像部11、入力部12、出力部13、通信インタフェース(I/F)14、RAM(Random access Memory)15、ROM(Read only memory)16、記憶部17、およびCPU18を有する。
撮像部11、入力部12、出力部13、通信インタフェース(I/F)14、RAM15、ROM16、記憶部17、およびCPU18は、バスBSにより接続されている。
撮像部11は、CPU18の制御により、被検体hの画像データを生成し信号S11として出力する。
入力部12は、例えばユーザの操作に応じた信号をCPU18に出力する。例えば入力部12は、キーボード、マウス、およびタッチパネル等により構成される。
出力部13は、CPU18の制御により所定のデータに応じた出力を行う。例えば出力部13はディスプレイ等の表示装置等により構成される。
通信インタフェース(I/F)14は、CPU18の制御により、例えば不図示の通信ネットワークを介して、他の画像処理装置とデータ通信を行う。
RAM15は、例えばCPU18のワークスペースとして用いられる。ROM16は、例えば初期値や初期パラメータ等のデータを記憶し、そのデータはCPU18により利用される。
記憶部17は、CPU18により所定のデータの書込みおよび読出しが行われる。例えば記憶部17は、HDD(Hard disk drive )等の記憶装置で構成される。
記憶部17は、例えば図2に示すように、プログラムPRG、画像データD_P等を有する。
プログラムPRGは、本実施形態に係る機能、例えば抽出部102および認証部103等の機能を含み、CPU18により実行されることで、その機能が実現される。
画像データD_Pは、例えば認証処理に用いられる登録画像データ等の画像データである。
図3は、図1に示した画像処理装置の機能ブロック図である。
CPU18は、例えば図3に示すようにプログラムPRGを実行することにより、抽出部102の機能として、スケルトン画像生成部21、マスク部22、および画像生成部23を有する機能を実現する。
本発明はこの形態に限られるものではない。例えば図3に示す構成要素の機能をハードウェアにより実現してもよい。
スケルトン画像生成部21は、例えば撮像部11からの画像データとしての信号S11を基に画像処理、例えばフィルタ処理,2値化処理,モルフォロジ処理等を行い、例えばスケルトン画像を生成し、信号S21として画像生成部23に出力する。
マスク部22は、例えば撮像部11からの画像データとしての信号S11を基に、画像データを構成し、予め規定された範囲の画素値を示す複数の画素データについて画素データの分布を示す分布データを生成し、分布データおよび予め設定した値を基に、マスク画像データを生成するための閾値を特定し、画像データをその閾値を基に2値化してマスク画像データを生成し、信号S23として出力する。
画像生成部23は、スケルトン画像生成部21から出力されたスケルトン画像としての信号S21を、マスク部22から出力された信号S22を基にマスク処理を行い、例えば認証に用いられる情報を抽出して信号S23として認証部103に出力する。
図4は、図3に示したマスク部の一実施形態に係る機能ブロック図である。
マスク部22は、例えば図4に示すように、グレースケール変換部221、分布データ生成部222、特定部223、2値化部224、および細化部225を有する。
分布データ生成部222は本発明に係る分布データ生成手段に相当し、特定部223は本発明に係る特定手段に相当し、2値化部224および細化部225は本発明に係るマスク画像データ生成手段に相当する。
グレースケール変換部221は、撮像部11からのRGBの信号S11を基にグレースケールに変換して信号S221として、分布データ生成部222に出力する。詳細にはグレースケール変換部221は、RGB信号を白から黒までの所定の階調、例えば256階調に変換する。
本実施形態では、撮像部11はRGBの信号S11を生成し、グレースケール変換部221がその信号S11をグレースケールに変換処理を行ったが、この形態に限られるものではない。例えば、撮像部11がグレースケールの画像データS11を生成した場合には、グレースケール変換部221を設けなくてよい。
図5は、図1に示した画像処理装置の動作を説明するための図である。
本実施形態に係る撮像部11は、例えば被検体hの生体の指を撮像して画像データS11を出力し、グレースケール変換部221は、その画像データS11を基に、例えば図5(a)に示すような、所定の階調のグレースケールの画像データS221を生成して、分布データ生成部222に出力する。
分布データ生成部222は、例えばグレースケール変換部221からの信号S221を基に、画像データを構成し予め規定された範囲の画素値を示す複数の画素データについて、画素データの分布を示す分布データ(ヒストグラム)d1を生成し、信号S222として特定部223に出力する。
詳細には、分布データ生成部222は、信号S221を基に、例えば横軸cを階調の値(画素値ともいう),縦軸fをその画素データの数(度数ともいう)とすると、図5(b)に示すように第1の範囲r1として256階調の範囲の画素値を示す画素データについて、分布データd1としてヒストグラムを生成する。図5(b)では小さな画素値は黒に相当し、大きな画素値は白に相当する。
分布データ生成部222は、詳細には第1の範囲r1内の各画素値について、画素データの数を示す分布データd1を生成する。
特定部223は、例えば、分布データd1中のマスク処理対象の特徴を示すパターンd11を基に、マスク画像データを生成するための閾値を特定し、閾値Mを信号S223として2値化部224に出力する。
詳細には、特定部223は、分布データ生成部222が生成した分布データd1、および予め設定した値Mthを基に、マスク画像データを生成するための閾値Mを特定し、閾値Mを信号S223として2値化部224に出力する。
本実施形態では、例えば上述したように被検体hを撮像して得られた画像データS11には、認証に必要な情報と、それ以外の認証に不必要な情報とを含む。不必要な情報は、例えば枠(治具の部分)の部分であり、例えば図5(b)に示すような分布データd1の場合、画素値0〜M(略30)の範囲のパターンがマスク処理対象の特徴を示すパターンd11に相当する。
一方、画像データの内、認証に必要な指部の情報は、図5(b)に示す分布データd1の内の画素値M(略30)〜255の範囲のパターンd12に相当する。
特定部223は、例えば図5(b)に示す分布データd1の内のパターンd11の黒部と、分布データd1の内のパターンd12の指部の黒部分との境界を特定し、認証に必要な指部と、認証に不必要な枠部とを分離する。
また、特定部223は、例えば分布データd1のパターンを基に、値Mth,値Mを設定してもよい。
2値化部224は、画像データS221を、特定部223が特定した閾値Mを基に2値化して2値化画像データを生成し、信号S224として出力する。
詳細には、2値化部224は、例えば図5(a)に示す画像データS221(S11)を、図5(b)に示す特定部223が特定した閾値Mを基に2値化して、例えば図5(c)に示すマスク画像データを生成し、信号S22(S224)として出力する。
本実施形態では、例えば細化部225を設ける。細化部225は例えばマスク画像データS224を基に細化処理を行い、認証に用いる必要な画像データと、認証に不必要な画像データS2241との境界部分L2241を除去し、処理結果を信号S22として出力する。
細化処理は、例えば信号S224を基にモルフォロジ処理、例えば所定の単位領域を基にモルフォロジ処理の縮退処理(erode)および膨張処理(dilate)を行い、境界部分L2241を除去する。
図6は、図1に示した画像処理装置の動作を説明するためのフローチャートである。図6を参照しながら、画像処理装置1のCPU18の動作を中心に、マスク部22の動作を説明する。
CPU18では、例えば撮像部11が被検体hを撮像して得た画像データS11が、スケルトン画像生成部21およびマスク部22に入力される。スケルトン画像生成部21では、例えば、図5(a)に示す画像データS11を基に画像処理、例えばフィルタ処理,2値化処理,モルフォロジ処理等を行い、例えば図5(d)に示すスケルトン画像を生成し、信号S21として画像生成部23に出力する。
分布データを生成するステップST1001において、マスク部22のグレースケール変換部221では、画像データS11を基に所定の階調のグレースケールに変換し、信号S221として出力する。
分布データ生成部222では、図5(a),(b)に示すように、画像データS221を基に、画像データを構成し予め規定された第1の範囲r1の画素値を示す複数の画素データについて画素データの分布を示す分布データd1を生成し、信号S222として特定部223に出力する。
閾値を特定するステップST1002において、特定部223では、分布データd1としての信号222、および予め設定した値Mthを基に、マスク画像データを生成するための画素値の閾値Mを特定し、閾値Mを信号S223として2値化部224に出力する。
前記分布データを前記閾値を基に2値化するステップST1003において、2値化部224では、画像データS221を、信号S223を基に、特定部223が特定した閾値Mを基に2値化して、例えば図5(c)にしめす2値化画像データ(マスク画像データ)S224を生成し(マスク画像データを生成するST1004)、信号S224として出力する。
さらに本実施形態では、細化部225により例えばマスク画像データS224を基に細化処理を行い、認証に用いる必要な画像データと、認証に不必要な画像データS2241との境界部分L2241を除去し、処理結果を信号S22として画像生成部23に出力する。
ステップST1005において、画像生成部23では、スケルトン画像生成部21から出力された、例えば図5(d)に示すスケルトン画像データS21を、マスク部22から出力された、例えば図5(c)に示すマスク画像データS22を基にマスク処理を行い、例えば認証に用いられる情報を抽出して、図5(e)に示す画像データS23を生成し、認証部103に出力する。
例えば、画像生成部23では、スケルトン画像データS21とマスク画像データS22のAND演算処理を行い、画像データS23を生成する。
ステップST1006において、認証部103では、画像生成部23が出力した画像データS23を、例えば記憶部17が記憶する登録用の画像データD_Pと認証処理を行う。
以上説明したように、画像データS11を構成し、予め規定された範囲r1の画素値を示す複数の画素データについて画素データの分布を示す分布データd1を生成する分布データ生成部222と、分布データ生成部222が生成した分布データd11および予め設定した値Mthを基に、詳細には分布データd1中のマスク処理対象の特徴を示すパターンd11を基に閾値Mを特定する特定部223と、画像データS11(S221)を、特定部223が特定した閾値を基に2値化してマスク画像データS22を生成する2値化部224および細化部225とを設けたので、画像データS11をマスク処理する際に用いる最適なマスク画像データS22を生成することができる。
つまり、本実施形態では、分布データd1において、マスク処理対象の特徴を示すパターンd11と、認証に用いる必要な画像データを示すパターンd12とが明確に区別することを利用しているので、最適なマスク画像データS22を生成することができる。
また、画像生成部23が、スケルトン画像データS21を、最適なマスク画像データS22を基にマスク処理を行い、認証用の画像データS23を生成するので、画像データS11から認証に必要な画像部分と、認証に不必要な画像部分とを分離することができる。
また、認証部103は、その画像データS23を基に、例えば記憶部17が記憶する登録用の画像データD_Pと認証処理を行うので、高精度な認証処理を行うことができる。
図7は、本発明の第2実施形態に係る画像処理装置1aのスケルトン画像生成部21の一実施形態を示す機能ブロック図である。
例えばCPU18は、図7に示すようにプログラムPRGを実行することにより、本実施形態に係るスケルトン画像生成部21の機能として、グレースケール変換部1801、分布データ生成部1802、特定部1803、マッピング部1804、ガウシアンフィルタ1805、ガウシアンラプラシアン1806、第1の縮退処理部1807、第1の膨張処理部1808、第2の膨張処理部1809、第2の縮退処理部1810、ローパスフィルタ部1811、およびスケルトン部1812の機能を実現する。
本発明はこの形態に限られるものではない。例えば図7に示す構成要素の機能をハードウェアにより実現してもよい。
グレースケール変換部1801は、撮像部11からのRGBの信号S11を基にグレースケールに変換して信号S1801として、分布データ生成部1802に出力する。詳細にはグレースケール変換部1801は、RGB信号を白から黒までの所定の階調、例えば256階調に変換する。
本実施形態では、撮像部11はRGBの信号S11を生成し、グレースケール変換部1801がその信号S11をグレースケールに変換処理を行ったが、この形態に限られるものではない。例えば、撮像部11がグレースケールの画像データS11を生成した場合には、グレースケール変換部1801を設けなくてよい。
図8は、図1に示した画像処理装置の動作を説明するための図である。
本実施形態では、撮像部11は、例えば被検体hの生体の指を撮像して図8(a)に示すようなRGB画像データS11を出力する。
グレースケール変換部1801は、その画像データS11を基に、例えば図8(b)に示すような、グレースケールの画像データS1802を生成し、分布データ生成部1802に出力する。
分布データ生成部1802は、グレースケール変換部1801からの信号S1801を基に、画像データを構成し予め規定された第1の範囲の画素値を示す複数の画素データについて、画素データの分布を示す分布データd1を生成し、信号S1802として特定部1803に出力する。
詳細には分布データ生成部1802は、信号S1801を基に、例えば横軸cを階調の値(画素値ともいう),縦軸fをその画素データの数(度数ともいう)とすると、図8(c)に示すように第1の範囲r1として256階調の範囲の画素値を示す画素データについて、分布データd1としてヒストグラムを生成する。図8(c)では小さな画素値は黒に相当し、大きな画素値は白に相当する。
分布データ生成部1802は、詳細には第1の範囲r1内の各画素値について、画素値を持つ画素データの数を示す分布データd1を生成する。
図9は、図7に示した特定部の動作を説明するための図である。
特定部1803は、信号S1802を基に、第1の範囲r1のうち予め決められた数の画素データが持つ画素値のなかで最大の画素値以下の範囲を、2値化対象とする第2の範囲r2として特定し、信号S1803として出力する。
詳細には特定部1803は、例えば図9(a)に示すように、分布データd1について、第1の範囲r1内のうち、予め決められた閾値V_thの数の画素値r11,r12,r13,r14のなかで最大の画素値r11以下の範囲を第2の範囲r2として特定する。
例えば特定部1803は、図9(a)に示すような分布データd1の場合には0〜110の画素値の範囲を第2の範囲r2として特定する。
ところで、被検体hの画素値の分布データは被検体h毎に異なる。例えば脂肪成分の多い被検体hの画像データのヒストグラムd1’は、脂肪成分の少ない被検体の画像データと比べて、図9(b)に示すように分布データd1’が広範囲に広がり画素値の平均値が比較的高い。
特定部1803は、例えば図9(b)に示すような分布データd1’の場合には、第1の範囲r1内のうち、予め決められた閾値V_thの数の画素値r11’,r12’,r13’,r14’のなかで最大の画素値r11’以下の範囲を第2の範囲r2’として特定する。
マッピング部1804は、信号S1803を基に、複数の画素データのうち、特定部1803が特定した第2の範囲r2(またはr2’)にある画素データを第1の範囲r1にマッピングして、当該マッピングした画素データで構成される第2の画像データを生成し信号S1804として出力する。
詳細にはマッピング部1804は、例えば図8(c)に示すように0〜110の画素値の範囲を第2の範囲r2とする場合には、図8(d)に示すように画素データを0〜256の画素値の範囲である第1の範囲r1に拡大することでマッピングを行い、図8(e)に示すように血管情報を含まない画像データのうち中心部分を拡大して第2の画像データS1804を生成する。
図10は、図1に示した画像処理装置のマッピング処理に係る動作を説明するためのフローチャートである。図8〜10を参照しながら、分布データ生成部1802,特定部1803,マッピング部1804の動作を中心に説明する。
撮像部11では、被検体hを撮像して画像データS11をグレースケール変換部1801に出力する。画像データS11は、グレースケール変換部1801により256階調のグレースケールに変換され、信号S1801として分布データ生成部1802に入力される。
ステップST1において、分布データ生成部1802では、信号S1801を基に、例えば図8(c)に示すように、画像データS11を構成し予め規定された第1の範囲r1内の画素値を示す複数の画素データについて、その画素値を持つ画素データの数を示す分布データd1を生成し信号S1802として特定部1803として出力される。
ステップST2において、特定部1803では、図8(c)に示すように、信号S1802を基に、第1の範囲r1内のうち予め決められた数、例えば閾値V_thの画素データが持つ画素値のなかで最大の画素値r11以下の範囲を、2値化対象とする第2の範囲r2として特定し、信号S1803としてマッピング部1804に出力する。
ステップST3において、マッピング部1804は、図8(d)に示すように、信号S1803を基に複数の画素データのうち、特定部1803が特定した第2の範囲r2にある画素データを第1の範囲r1にマッピングして、当該マッピングした画素データで構成される第2の画像データを生成し、信号S1804として出力する。
ステップST4において、例えば後述する構成要素1805〜1812等によりマッピング部1804で生成した第2の画像データS1804を、第1の範囲r1内に規定された閾値、例えば100階調を基に2値化して第3の画像データを生成する。
上述したように本実施形態では、例えば図8(c),図8(d)に示すように、分布データ生成部1802により分布データを生成し、特定部1803により第2の範囲を特定し、マッピング部1804により第2の範囲にある画素データを第1の範囲にマッピングし、後述する構成要素1805〜1812等により第1の範囲r1内に規定された閾値を基に2値化して画像データを生成するので、被検体h毎に画素値の分布データd1が異なる場合であっても、適切に2値化処理できる。
また、特定した第2の範囲にある画素データを第1の範囲にマッピングするのでコントラストが強くなり、適切に2値化処理を行うことができる。
本実施形態に係る画像処理装置1aは、上述した工程で生成した画像データにノイズ除去処理後、エッジ強調処理を行う。例えば、画像処理装置1aは信号S1804を基に複数の異なるノイズ除去処理のうち、いずれかのノイズ除去処理を行い、ノイズ除去処理の後、エッジ強調処理を行う。
図11は、画像処理装置のフィルタ処理に係る機能ブロック図である。
CPU18は、例えばプログラムPRGを実行することにより、図11に示す選択部1814および複数のノイズ除去フィルタ1815の機能を実現する。
選択部1814は、ノイズ除去フィルタ1815のうちの複数の異なるノイズ除去処理を行うノイズ除去フィルタのうち、いずれかのノイズ除去フィルタを選択させる信号S1814をノイズ除去フィルタ1815に出力する。
例えば選択部1814は、信号S1804のノイズ分布特性を検出し、検出結果を基にノイズ特性に適したノイズ除去フィルタを選択させる信号S1814を出力する。
また、例えば選択部1814は、ユーザの操作に応じた入力部12からの信号を基にノイズ除去フィルタを選択させる信号S1814を出力してもよい。
ノイズ除去フィルタ1815は、複数のノイズ除去処理用のフィルタ、例えばガウシアンフィルタ1815_1、メディアンフィルタ1815_2、最大値フィルタ1815_3、最小値フィルタ1815_4、2次元適応ノイズ除去フィルタ1815_5、近傍フィルタ1815_6、平均化フィルタ1815_7、ガウシアンローパスフィルタ1815_8、2次元ラプラシアン近似フィルタ1815_9、およびガウシアンラプラシアンフィルタ1815_10を有し、例えば選択部1814からの信号S1814に応じていずれかの(少なくとも1つの)ノイズ除去フィルタを選択し、その選択したノイズ除去フィルタで信号S1804をノイズ除去処理を行い、画像データS1806を生成する。
以下、フィルタ処理を説明する。一般的に2次元平面の格子点(n1,n2)を変数とする画像データu(n1,n2)をフィルタh(n1,n2)でフィルタ処理を行い、数式(1)に示すように画像データv(n1,n2)を生成する。ここで畳込み積分(コンボリューション)を’*’と表す。
Figure 2005056282
…(1)
ガウシアンフィルタ1815_1は、例えば標準偏差σを用いて数式(2)に示すようにガウス関数hg(n1,n2)を畳込み処理を行う。詳細には数式(3),(1)に示すように、ガウシアンフィルタh(n1,n2)を用いてノイズ除去処理を行う。
Figure 2005056282
…(2)
Figure 2005056282
…(3)
図12は、ガウシアンフィルタを説明するための図である。
ガウシアンフィルタ1815_1は平滑化フィルタであり、例えば図12に示すように注目画素データを中心に、2次元のガウス分布に応じた重み付けで演算を行い平滑化処理を行う。例えば注目画素データ(0,0)として図12に図示する。
メディアンフィルタ1815_2は、例えば注目画素データを中心にn×nの局所領域の画素データを順番に並べた場合に、順番が真ん中の画素データの画素値を注目画素データの画素値とする。
最大値フィルタ1815_3は、例えば注目画素を中心にn×nの局所領域の画素データのうち、最大値の画素値を注目画素データの画素値とする。
最小値フィルタ1815_4は、例えば注目画素を中心にn×nの局所領域の画素データのうち、最小値の画素値を注目画素データの画素値とする。
2次元適応ノイズ除去フィルタ1815_5は、例えばいわゆるWienerフィルタであり、画像データを基に、画像データとの平均2乗誤差を最小化するフィルタ処理を行い、画像を改善する。
近傍フィルタ1815_6は、画像データのうちの例えばn×n画素の画素値を基に出力ピクセルを計算するフィルタ処理である。例えば詳細には近傍フィルタ1815_6は、そのデータに応じて近傍の値から最大値、最小値、および標準偏差を基にフィルタ処理を行う。
平均化フィルタ1815_7は、画像データのうちの例えばn×n画素の画素値の平均値を計算し出力ピクセルとするフィルタ処理を行う。
ガウシアンローパスフィルタ1815_8は、ノイズ除去および平滑化処理を行う。詳細には、ガウシアンローパスフィルタ1815_8は、画像データをガウシアン型の重み付けを基に平滑化処理を行う。
2次元ラプラシアン近似フィルタ1815_9は、画像データを基に2次微分処理を行い、エッジ検出などを行う。
ガウシアンラプラシアンフィルタ1815_10は、ガウシアンフィルタにラプラシアン(2次微分)を演算させるフィルタ処理である。以下詳細に説明する。
ラプラシアンは、2次元ユークリッド座標系では例えば数式(4)に示すように表現できる。
Figure 2005056282
…(4)
また、ラプラシアンは、例えば所定の数αを用いて数式(5)に示すように3×3のマトリクス表示を行うことができる。ここで注目画素をマトリクスの中心とする。
Figure 2005056282
…(5)
ガウシアンフィルタのラプラシアンは、例えば標準偏差σを用いて数式(6)に示すようにガウス関数hg(n1,n2)を畳込み処理を行う。詳細には数式(7),(1)に示すように、ガウシアンラプラスフィルタh(n1,n2)を用いてノイズ除去処理を行う。
Figure 2005056282
…(6)
Figure 2005056282
…(7)
また、ガウシアンフィルタのラプラシアンは、所定の値αを用いて、マトリクス表示を行うと例えば数式(8)に示すように表現できる。ここで注目画素をマトリクスの中心とする。
Figure 2005056282
…(8)
図13は、ガウシアンラプラシアンフィルタを説明するための図である。簡単な説明のため画像データを1次元として説明する。
エッジは画素値(明るさ)の変化によって生じる面と面との境界である。エッジは空間微分を行うことにより検出可能である。例えば空間微分には1次微分と2次微分がある。
例えば図13(a)に示すステップ形状の画素値f(x)の場合を説明する。ここで縦軸を画素値、横軸をx軸とする。
エッジ領域は、詳細には図13(b)に示すように、第1の画素値f1と第2の画素値f2間は所定の幅Lで連続的に変化する。画像データf(x)を1次微分処理すると、例えば図13(c)に示すように境界領域において所定の幅Lで急激に変化する。
例えばエッジ検出処理は、この1次微分処理後の画像のf’(x)の急激な変化を検出して、エッジを特定する。
また、エッジ検出処理は2次微分処理(ラプラシアン)により検出してもよい。
例えば画像データが図13(d)に示す画素値f(x)の場合には、図13(e)に示す1次微分値f’(x)と、図13(f)に示す2次微分値f’’(x)が得られる。
この2次微分値f’’(x)は、エッジのスロープ中で傾きが最も大きい点で符号が変化する。したがって、2次微分がx軸を横切る点(ゼロ交差点という)P_crは、エッジの位置を示す。この画像データは2次元データであり、実際のエッジ検出の際には、2次微分処理した画像データのうちゼロ交差点P_crの位置をエッジとして特定する。
例えば選択部1814が、ノイズ除去処理としてガウシアンフィルタ1815_1およびガウシアンラプラシアンフィルタ1815_10を選択した場合を説明する。例えば図7,11に示すように、ガウシアンラプラシアン1806をガウシアンフィルタ1815_1、ガウシアンラプラシアンフィルタ1806をガウシアンラプラシアンフィルタ1815_10とする。
図14は、第2実施形態に係る画像処理装置1aのノイズ除去処理を説明するための図である。図15は、図1に示した画像処理装置の動作を説明するためのフローチャートである。図14,15を参照しながら画像処理装置1aの動作、特にノイズ除去処理に関する動作を説明する。
ステップST11において、例えば選択部1814は、信号S1804のノイズ分布特性を検出し、検出結果を基にそのノイズ特性に適したノイズ除去フィルタを選択させる信号S1814をノイズ除去フィルタ1815に出力する。例えば選択部1814はノイズ除去処理としてガウシアンフィルタ1815_1およびガウシアンラプラシアンフィルタ1815_10を選択させる信号S1814をノイズ除去フィルタに出力する。
ステップST12において、ノイズ除去フィルタ1815では、信号S1814を基にいずれかの(少なくとも1つの)ノイズ除去フィルタを選択し、その選択したノイズ除去フィルタで信号S1804をノイズ除去処理を行い、画像データS1806を生成する。
例えばノイズ除去フィルタ1815は、ガウシアンフィルタ1815_1およびガウシアンラプラシアンフィルタ1815_10を選択する。説明の便宜上、ガウシアンフィルタ1805およびガウシアンラプラシアンフィルタ1806として説明する。
ステップST12において、ガウシアンフィルタ1805は、例えば図14(a)に示す信号S1804を基に数式(1),(3)に示すノイズ除去処理を行い、例えば図14(b)に示す画像データS1805を生成してガウシアンラプラシアンフィルタ1806に出力する。
ステップST13において、ガウシアンラプラシアンフィルタ1806は、例えば図14(b)に示すような信号S1805を基にエッジ強調処理を行い、例えば図14(c)に示すような画像データS1806を生成して出力する。この画像データS1806は2値化画像データである。
ガウシアンラプラシアンフィルタ1806は、2値化処理を行う際に例えば図8(c)に示す第1の範囲r1内に規定された閾値を基に2値化処理を行う。
以上説明したように、複数のノイズ除去処理のうちいずれかのノイズ除去処理を選択する選択部1814と、例えばノイズ除去フィルタ1815として、ガウシアンフィルタ1815_1、メディアンフィルタ1815_2、最大値フィルタ1815_3は、最小値フィルタ1815_4、2次元適応ノイズ除去フィルタ1815_5、近傍フィルタ1815_6、平均化フィルタ1815_7、ガウシアンローパスフィルタ1815_8、2次元ラプラシアン近似フィルタ1815_9、ガウシアンラプラシアンフィルタ1815_10とを設け、例えば選択部1814により選択されたフィルタが信号S1804を基にノイズ除去処理を行い、その後ガウシアンラプラシアンフィルタ1806によりエッジ強調処理を行い2値化するので、例えば画像データS1804から被検体hの生体の乱反射や撮像部11等のデバイスに起因するノイズを除去し、予め決められた第1の範囲r1の閾値を基に、適切に2値化した画像データを生成することができる。
また、選択部1814は、ノイズ特性に応じたフィルタを選択するので高精度にノイズを除去することができる。
また、例えば被検体hの血管を含む部位を透過光を撮像して生成した画像データをガウシアンフィルタ処理およびガウシアンラプラシアンフィルタ処理を行うことで高精度にノイズを除去処理でき、また適切に2値化処理して血管を示すパターンを視認可能な画像を生成することができる。
図16は、本発明の第2実施形態に係る画像処理装置1aの動作を説明するための概念図である。
本実施形態に係る画像処理装置1aは、上述した処理で生成した2値化画像データS1806を基に、例えば図16(a)に示すように、所定の大きさの領域ar_th1より小さいノイズ成分の画素を図16(b)に示すように除去処理を行う。
また、画像処理装置1aは、例えば図16(c)に示す2値化画像データS1806を基に、所定の距離ar_th2内の同じ画素値の画素データg21,g22を接続する処理を行い、例えば図16(d)に示す線形状のパターンg2を有する画像データを生成する。本実施形態では、この線形状のパターンは血管を示すパターンに相当する。
詳細には、画像処理装置1aは、画像データを構成する、画素値を示す複数の画素データ毎に、当該画素データの周囲の第1の領域内の画素データのうち最小の画素データを所定の画素データとする縮退処理と、縮退処理による画素データ毎に、当該画素データの周囲の第1の領域より大きい第2の領域内の画素データのうち最大の画素データを所定の画素データとして膨張処理を行い、線形状のパターンを含む画像データを生成する。
本実施形態では、例えばモルフォロジ関数を用いて上述の機能を実現する。
図17は、本発明の第2実施形態に係る画像処理装置の縮退処理および膨張処理を説明するための図である。
第1の縮退(erode )処理部1807は、画像データS1806を基に、画像データS1806を構成する画素値を示す複数の画素データ毎に、当該画素データの周囲の第1の領域内の画素データのうち最小の画素データを所定の画素データとして画像データS1807を生成し、第1の膨張処理部1808に出力する。
詳細には、第1の縮退処理部1807は、例えば図17(a)に示すように、第1の領域として、注目画素データg_attを中心とした十字形状のエレメントEL1内の画素データのうち最小の画素データを注目画素g_attの画素値とする。本実施形態では図17(b)に示すように最小値0を注目画素データg_attとする。
第1の膨張処理(dilate)処理部1808は、画像データS1807を基に、画像データS1807を構成する、画素値を示す複数の画素データ毎に、当該画素データの周囲の第1の領域内の画素データのうち最大の画素データを所定の画素データとして画像データS1808を生成し、第2の膨張処理部1809に出力する。
詳細には第1の膨張処理部1808は、例えば図17(a)に示すように、第1の領域として注目画素データg_attを中心とした十字形状のエレメントEL1内の画素データのうち最大の画素データを注目画素g_attの画素値とする。本実施形態では図17(c)に示すように最大値1を注目画素データg_attとする。
第2の膨張処理部1809は、画像データS1808を基に、画像データS1808を構成する画素値を示す複数の画素データ毎に、当該画素データの周囲の第1の領域より大きい第2の領域内の画素データのうち最大の画素データを所定の画素データとして画像データS1809を生成し、第2の縮退処理部1810に出力する。
詳細には、第2の膨張処理部1809は、例えば図17(d)に示すように、第1の領域より大きい第2の領域として、注目画素データg_attを中心とした3×3矩形状のエレメントEL2内の画素データのうち最大の画素データを注目画素g_attの画素値とする。本実施形態では例えば図17(e)に示すように最大値1を注目画素データg_attとする。
本実施形態では3×3のエレメントを例に説明するが、この形態に限られるものではない。例えば5×5や7×7等の所望の大きさであってもよい。
第2の縮退処理部1810は、画像データS1809を基に、画像データS1809を構成する、画素値を示す複数の画素データ毎に、当該画素データの周囲の第1の領域より大きい第2の領域内の画素データのうち最小の画素データを所定の画素データとして画像データS1810を生成する。
詳細には、第2の縮退処理部1810は、例えば図17(d)に示すように、第1の領域より大きい第2の範囲として、注目画素データg_attを中心とした3×3矩形状のエレメントEL2内の画素データのうち最小の画素データを注目画素g_attの画素値とする。本実施形態では図17(f)に示すように最小値0を注目画素データg_attとする。
図18は、本発明の第2実施形態に係る画像処理装置1aの動作を説明するための図である。図19は、第2実施形態に係る画像処理装置1aの動作を説明するためのフローチャートである。図14,17,18,19を参照しながら画像処理装置の動作、特に縮退処理および膨張処理を中心に説明する。
ステップST21において、第1の縮退処理部1807は、例えば図14(c)に示す画像データS1806を基に、例えば図17(a)に示すように第1の領域として、注目画素データを中心とした十字形状のエレメントEL1内の画素データのうち最小の画素データを注目画素g_attの画素値とし、図18(a)に示すような画像S1807を生成する。
第1の縮退処理部1807は、この第1の縮退処理の結果、所定の大きさより小さい画素データを除去した画像データS1807を生成する。
ステップST22において、第1の膨張処理部1808は、例えば図18(a)に示す画像データS1807を基に、例えば図17(a)に示すように、第1の領域として注目画素データg_attを中心とした十字形状のエレメントEL1内の画素データのうち最大の画素データを注目画素g_attの画素値とし、図18(b)に示す画像データS1808を生成する。
ステップST23において、第2の膨張処理部1809は、例えば図18(b)に示す画像データS1808を基に、例えば図17(d)に示すように、第1の領域より大きい第2の領域として、注目画素データg_attを中心とした3×3矩形状のエレメントEL2内の画素データのうち最大の画素データを注目画素g_attの画素値とし画像データS1809を生成する。
上述したステップST22およびST23の処理により、第1の膨張処理部1808および第2の膨張処理部は、所定の距離ar_th2内の同じ画素値の画素データを接続し、線形状のパターンを有する画像データを生成する。
ステップST24において、第2の縮退処理部1810は、例えば画像データS1809を基に、例えば図17(d)に示すように、第1の領域より大きい第2の領域として、注目画素データg_attを中心とした3×3矩形状のエレメントEL2内の画素データのうち最小の画素データを注目画素g_attの画素値として、例えば図18(c)に示すような画像データS1810を生成する。
以上説明したように、画像データS1806を構成する、画素値を示す複数の画素データ毎に、当該画素データの周囲の第1の領域内の画素データのうち最小の画素データを所定の画素データとして画像データS1807を生成する第1の縮退処理部1807と、画像データS1807を構成する複数の画素データ毎に、当該画素データの周囲の第1の領域内の画素データのうち最大の画素データを所定の画素データとして画像データS1808を生成する第1の膨張処理部1808と、画像データS1808を構成する複数の画素データ毎に、当該画素データの周囲の第1の領域より大きい第2の領域内の画素データのうち最大の画素データを所定の画素データとして画像データS1809を生成する第2の膨張処理部1809と、画像データS1809を構成する複数の画素データ毎に、当該画素データの周囲の第1の領域より大きい第2の領域内の画素データのうち最小の画素データを所定の画素データとして画像データS1810を生成する第2の縮退処理部1810とを設けたので、線形状のパターンを残し、ノイズ成分としての微小なパターンを除去できる。
ローパスフィルタ部1811は、例えば画像データS1810を基に、線形状のパターンを残すフィルタ処理を行い画像データS1811を生成する。
詳細にはローパスフィルタ部1811は、例えば画像データS1810を2次元フーリエ変換処理した2次元フーリエ空間上で周波数成分が、線形状のパターンを残させる閾値よりも低周波数成分データを特定し、特定したデータを逆2次元フーリエ変換処理を行い画像データS1811を生成する。
図20は、図7に示した画像処理装置の第1のローパスフィルタ処理の動作を説明するための図である。図20を参照しながらローパスフィルタ部1811の動作を説明する。
本実施形態に係るローパスフィルタ部1811は、高精度に線形状のパターンを抽出するために複数回、例えば3回、閾値を変化させてローパスフィルタ処理を行う。
線形状のパターンを残させる周波数成分の閾値を説明する。
ローパスフィルタ部1811は、例えば横軸をフーリエ空間のx成分、縦軸をフーリエ空間のy成分とすると図20(a)に示すようにフーリエ空間上で閾値の基準となる領域ar_refを設定する。
本実施形態では、例えば図20(a)に示すように、原点Oを中心として、360×360のフーリエ空間上で菱形の基準領域ar_refを設定する。また、図20(b)に示すように基準領域ar_refを含み、基準領域ar_refを所定の拡大率で拡大した領域ar_ref’を設定し、その領域ar_ref’をローパスフィルタとする。
第1のローパスフィルタ処理では、例えば図20(c)に示すように、フーリエ空間上で高周波成分を示す領域ar_hをカットするように、ローパスフィルタを設定する。この領域ar_hは実空間上では、例えば幾何学的に対称なパターン、例えば略円形状のパターン等に相当する。この領域ar_hをカットすることで、上述した幾何学的に対称なパターンを除去することができる。
閾値として例えば図20(c)に示すように2次元フーリエ空間上で、(180,150),(150,180),(−150,180)、(−180,150),(−180,−150),(−150,180),(150,−180),(180,−150)で囲まれる領域ar_LPF1を設定する。領域ar_LPF1は実空間上では、例えば線形状のパターンに相当する。この領域ar_LPF1を特定することで、線形状のパターンを特定することができる。
ローパスフィルタ部1811は、画像データとして例えば図20(d)に示す画像データS101を基に、図20(c)に示すようにフーリエ空間上で領域ar_LPF1内の低周波数成分データを特定する。そして例えば特定した低周波成分データに逆2次元フーリエ変換処理を施すと、例えば図20(e)に示す画像S102が得られる。例えば画像データS102の画素値に対して2値化処理(例えば5捨6入)を行うと、図20(f)に示す画像データS103が得られる。
図21は、ローパスフィルタ部の第2のローパスフィルタ処理の動作を説明するための図である。
ローパスフィルタ部1811は、ローパスフィルタ処理の閾値としての領域ar_LPF1より大きい領域を設定して、複数回フィルタ処理を行う。
ローパスフィルタ部1811は、例えば上述したように図21(a)に示す領域ar_LPF1より大きい領域、例えば図21(b)に示すように領域ar_LPF2を設定する。
第2のローパスフィルタ処理では、詳細には閾値として例えば図21(b)に示すように、2次元フーリエ空間上で(180,156),(156,180),(−156,180),(−180,156),(−180,−156),(−156,−180),(156,−180),(180,−156)で囲まれる領域ar_LPF2を設定する。
第2のローパスフィルタ処理において、ローパスフィルタ部1811は、例えば第1のローパスフィルタ処理後の画像データとして、図20(c),図21(c)に示す画像データS102を基に、図21(b)に示すフーリエ空間上で領域ar_LPF2内の低周波数成分データを特定する。例えば特定した低周波成分データに逆2次元フーリエ変換処理を施すと、図21(d)に示す画像S104が得られる。例えば画像データS104の画素値に対して2値化処理(例えば5捨6入)を行うと、図21(e)に示す画像データS105が得られる。
図22は、ローパスフィルタ部の第3のローパスフィルタ処理の動作を説明するための図である。
ローパスフィルタ部1811は、第3のローパスフィルタ処理として、例えば上述したように図22(a)に示す領域ar_LPF2より大きい領域、例えば図22(b)に示すように領域ar_LPF3を設定する。
第3のローパスフィルタ処理では、詳細には閾値として例えば図22(b)に示すように、2次元フーリエ空間上で(180,157),(157,180),(−157,180),(−180,157),(−180,−157),(−157,−180),(157,−180),(180,−157)で囲まれる領域ar_LPF3を設定する。
第3のローパスフィルタ処理において、ローパスフィルタ部1811は、例えば第2のローパスフィルタ処理後の画像データとして、図21(d),図22(a)に示す画像データSを104を基に、図22(b)に示すフーリエ空間上で領域ar_LPF3内の低周波数成分データを特定する。
例えば特定した低周波成分データに逆2次元フーリエ変換処理を施すと、例えば図22(d)に示す画像S106が得られる。例えば画像データS106の画素値に対して2値化処理(例えば5捨6入)を行うと、図22(e)に示す画像データS107が得られる。
図23,24は、図7に示した画像処理装置のローパスフィルタ部の動作を説明するための図である。図25は図7に示した画像処理装置のローパスフィルタ部の動作を説明するためのフローチャートである。図18,23〜25を参照しながらローパスフィルタ部1811の動作を説明する。
ステップST31において、ローパスフィルタ部1811は、第1のローパスフィルタ処理として、例えば図18(c),図23(a)に示す画像データS1810を2次元フーリエ変換処理を行い、例えば図20(c)に示すように、フーリエ空間上で高周波成分である隅ar_hをカットするように領域ar_LPF1を設定し、その領域ar_LPF1内の低周波成分データを特定し、逆2次元フーリエ変換処理を行い図23(b)に示す画像データS18011を生成する(ST32)。例えば画像データS18011を2値化処理(例えば5捨6入)を行うと図23(c)に示す画像データS18103が得られる。
ステップST33において、第2のローパスフィルタ処理として、ローパスフィルタ部1811は、図23(b),(d)に示す画像データS18102を基に2次元フーリエ変換処理を行い、例えば領域ar_LPF1より大きい領域、例えば図21(b)に示す領域ar_LPF2の領域を設定し、その領域ar_LPF2内の低周波成分データを特定し、逆2次元フーリエ変換処理を行い図23(e)に示す画像データS18014を生成する(ST33)。例えば画像データS18014を2値化処理(例えば5捨6入)を行うと図23(f)に示す画像データS18105が得られる。
ステップST34において、第3のローパスフィルタ処理として、ローパスフィルタ部1811は、図23(e),図24(a)に示す画像データS18104を基に2次元フーリエ変換処理を行い、例えば領域ar_LPF2よりも大きい領域、例えば図22(b)に示す領域ar_LPF3の領域を設定し(ST34)、その領域ar_LPF3内の低周波成分データを特定し(ST35)、逆2次元フーリエ変換処理を行い図24(b)に示す画像データS18106を生成し、画像データS18106を2値化処理(例えば5捨6入)を行い図23(f)に示す画像データS1811を生成する。
以上説明したように、ローパスフィルタ部1811が、画像データ内の線形状のパターンを残すように、画像データを2次元フーリエ変換処理した2次元フーリエ空間上で周波数成分が線形状のパターンを残させる閾値よりも低周波数成分データを特定し、その特定した低周波数成分データを逆2次元フーリエ変換処理することで線形状のパターンを抽出することができる。また、その閾値より高周波成分データを除去することで、幾何学的に対称なパターン、例えば略円形状のパターンを除去することができる。
また、ローパスフィルタ部1811は、フィルタ領域ar_LPFを大きくして複数回、ローパスフィルタ処理を行うので、より高精度に線形状のパターンを抽出することができる。
図26は、図7に示した画像処理装置1aのスケルトン部の動作を説明するための図である。
画像処理装置1は、画像データ中から認証に用いる領域を抽出する。本実施系形態では、画像処理装置1は画像データ中の血管を示すパターンを含む領域を、認証に用いる領域として抽出する。
スケルトン部1812は、画像データS1811を基に、スケルトン処理を行い画像データS21を生成し、画像データS21を認証用の画像データS21として画像生成部23に出力する。
詳細には、スケルトン部1812は、例えば図26(a)に示す画像データS1811を基にモルフォロジ関数を用いて縮退処理を行い、図26(b)に示すように、認証用の画像データS21を生成する。図26(b)に示す画像データS21は、簡単な説明のため白画素と黒画素を反転した画像を示す。
図27は、図7に示した第2実施形態に係る画像処理装置1aの全体の動作を説明するためのフローチャートである。図27を参照しながら、画像処理装置1の動作を簡単に説明する。本実施形態では、被検体hの生体、例えば指を撮像して画像データを生成し、画像データ中の指の静脈を示すパターンを抽出し、そのパターンを基に認証処理を行う場合を説明する。
ステップST101において、CPU18は、例えば撮像系101の照射部1011から被検体hの指に近赤外線を照射させる。撮像部11では、被検体h,光学レンズ1012を介して入力された透過光を基にRBGの画像データS11を生成する。
スケルトン画像生成部21のグレースケール変換部1801では、RGBの信号S11を基に例えば256階調のグレースケールに変換して信号S1801として分布データ生成部1802に出力する。
本実施形態では、撮像系101は、RGBの画像データS11を生成したが、この形態に限られるものではない。例えば、撮像系101がグレースケールの画像データS11を生成した場合には、グレースケール変換部1801の処理を行わずに、画像データS11を分布データ生成部1802に出力する。
ステップST102において、分布データ生成部1802では、信号S1801を基に、例えば横軸cを階調の値(画素値ともいう),縦軸fをその画素データの数(度数ともいう)とすると、例えば図8(c)に示すように第1の範囲r1として256階調の範囲の画素値を示す画素データについて、分布データd1としてヒストグラムを生成する。
本実施形態では、例えばスケルトン画像生成部21とマスク部22のグレースケール変換部およびマッピング部が共通に設けられ、同一の動作を行う。
特定部1803では、信号S1802を基に例えば図9(a)に示すように、分布データd1について第1の範囲r1内のうち、予め決められた閾値V_thの数の画素値r11,r12,r13,r14のなかで最大の画素値r11以下の範囲を第2の範囲r2として特定し、信号S1803として出力する(ST103)。
一方、マスク部22のグレースケール変換部221、分布データ生成部222、および特定部223は、第1実施形態と同様の処理を行い分布データを生成し、分布データを基にマスク画像データ用のための閾値Mを生成する。
ステップST104において、マスク画像データまたはスケルトン画像データ(認証用画像データ)を生成するかが判別され、スケルトン画像データを生成する場合には、ステップST105の処理に進む。一方、マスク画像データを生成する場合には、ステップST108の処理に進む。
ステップST105において、マッピング部1804は、信号S1803を基に、複数の画素データのうち、特定部1803が特定した第2の範囲r2にある画素データを第1の範囲r1にマッピングして、当該マッピングした画素データで構成される第2の画像データを生成し、信号S1804としてガウシアンフィルタ1805に出力する。
詳細にはマッピング部1804は、例えば図8(c)に示すように0〜110の画素値の範囲を第2の範囲r2とする場合には、図8(d)に示すように画素データを0〜256の画素値の範囲である第1の範囲r1に拡大することでマッピングを行い、図8(e)に示すように血管情報を含む画像データのうち中心部分を拡大して第2の画像データS1804を生成する。
ステップST106において、フィルタ処理を行う。詳細には、例えば選択部1814は、信号S1804のノイズ分布特性を検出し、検出結果を基に複数のノイズ除去フィルタのうち、そのノイズ特性に適した、いずれかの(少なくとも1つの)ノイズ除去フィルタを選択させる信号S1814をノイズ除去フィルタ1815に出力する。例えば選択部1814はノイズ除去処理としてガウシアンフィルタ1815_1およびガウシアンラプラシアンフィルタ1815_10を選択させる信号S1814をノイズ除去フィルタ1815に出力する。
ノイズ除去フィルタ1815では、信号S1814に応じていずれかのノイズ除去フィルタを選択し、例えばガウシアンフィルタ1815_1およびガウシアンラプラシアンフィルタ1815_10を選択する。説明の便宜上、それぞれをガウシアンフィルタ1805およびガウシアンラプラシアンフィルタ1806として説明する。
ガウシアンフィルタ1805は、例えば図14(a)に示す信号S1804を基に数式(1),(3)に示すノイズ除去処理を行い、例えば図14(b)に示す画像データS1805を生成してガウシアンラプラシアンフィルタ1806に出力する。
ガウシアンラプラシアンフィルタ1806は、例えば図14(b)に示す信号S1805を基にエッジ強調処理を行い、例えば図14(c)に示す画像データS1806を生成して出力する。この際、画像データS1806は2値化画像データである。
ガウシアンラプラシアンフィルタ1806は、2値化処理を行う際に例えば図8(c)に示す第1の範囲r1内に規定された閾値を基に2値化処理を行う。
第1の縮退処理部1807は、例えば図14(c)に示す画像データS1806を基に、例えば図17(a)に示すように第1の領域として、注目画素データを中心とした十字形状のエレメントEL1内の画素データのうち最小の画素データを注目画素g_attの画素値とし、図18(a)に示すような画像S1807を生成する。
第1の膨張処理部1808は、例えば図18(a)に示す画像データS1807を基に、例えば図17(a)に示すように第1の領域として、注目画素データg_attを中心とした十字形状のエレメントEL1内の画素データのうち最大の画素データを注目画素g_attの画素値とし、図18(b)に示す画像データS1808を生成する。
第2の膨張処理部1809は、例えば図18(b)に示す画像データS1808を基に、例えば図17(d)に示すように第1の領域より大きい第2の領域として、注目画素データg_attを中心とした3×3矩形状のエレメントEL2内の画素データのうち最大の画素データを注目画素g_attの画素値とし画像データS1809を生成する。
第2の縮退処理部1810は、例えば画像データS1809を基に、例えば図17(d)に示すように、第1の領域より大きい第2の領域として、注目画素データg_attを中心とした3×3矩形状のエレメントEL2内の画素データのうち最小の画素データを注目画素g_attの画素値として、例えば図18(c)に示すような画像データS1810を生成する。
ローパスフィルタ部1811は、第1のローパスフィルタ処理として、例えば図18(c),図23(a)に示す画像データS1810を2次元フーリエ変換処理を行い、例えば図24(c)に示すように、フーリエ空間上で高周波成分である隅ar_hをカットするように領域ar_LPF1を設定し、その領域ar_LPF1内の低周波成分データを特定し、逆2次元フーリエ変換処理を行い図23(b)に示す画像データS18011を生成する。
第2のローパスフィルタ処理として、ローパスフィルタ部1811は、図23(b),(d)に示す画像データS18102を基に2次元フーリエ変換処理を行い、例えば領域ar_LPF1よりも大きい領域、例えば図21(b)に示す領域ar_LPF2の領域を設定し、その領域ar_LPF2内の低周波成分データを特定し、逆2次元フーリエ変換処理を行い図23(e)に示す画像データS18014を生成する。
第3のローパスフィルタ処理として、ローパスフィルタ部1811は、図23(e),図24(a)に示す画像データS18104を基に2次元フーリエ変換処理を行い、例えば領域ar_LPF2よりも大きい領域、例えば図22(b)に示す領域ar_LPF3の領域を設定し、その領域ar_LPF3内の低周波成分データを特定し、逆2次元フーリエ変換処理を行い図24(b)に示す画像データS18016を生成し、画像データS18016を2値化処理(例えば5捨6入)を行い、図24(f)に示す画像データS1811を生成する。
スケルトン部1812は、例えば図24(f),図26(a)に示す画像データS1811を基にスケルトン処理、詳細にはモルフォロジ関数を用いて縮退処理を行い、図26(b)に示すスケルトン画像データS21を生成し、認証用の画像データS21として画像生成部23に出力し(ST107)、ステップST111の処理に進む。
一方、ステップST104の判別において、マスク画像データを生成する場合には、ステップST108〜ST110により、閾値Mを基に2値化処理を行い、細化処理を行い、マスク画像データを生成し、ステップST111の処理に進む。
ステップST108〜ST110の処理は、第1実施形態に係るステップSTST1002〜ST1004と同様な処理なので説明を省略する。
ステップST111において、マスク画像データおよびスケルトン画像データの両画像データが作成(生成)したか否かが判別され、両画像データを作成(生成)していない場合には、ステップST104の処理に戻る。
一方、ステップST111の判別において、マスク画像データおよびスケルトン画像データの両画像データが生成済みの場合には、ステップST112の処理に進む。
ステップST112において、画像生成部23では、スケルトン画像データを、マスク画像データを基にマスク処理を行い、詳細にはAND演算処理を行い、認証に必要な画像データを抽出して画像データS23を生成し(ST113)、認証部103は画像データS23を基に、認証処理を行う(ST114)。
以上説明したように、本実施形態では、スケルトン画像生成部21が画像データの分布データを基に認証用の画像データを生成するための閾値を特定し、当該特定した閾値を基に認証用の画像データを生成し、画像生成部23が認証用の画像データをマスク部22が生成したマスク画像データを基にマスク処理を行い、認証に必要な画像データを抽出したので、認証部103はより高精度な認証処理を行うことができる。
また、分布データ生成部1802により分布データを生成し、特定部1803により第2の範囲を特定し、マッピング部1804により第2の範囲を第1の範囲にマッピングし、第1の範囲r1内に規定された閾値を基に2値化して第3の画像データを生成するので、被検体h毎に画素値の分布データd1が異なる場合であっても、適切に2値化処理できる。
また、複数のノイズ除去処理のうちいずれかのノイズ除去処理を選択する選択部1814と、例えば複数の異なる種類のノイズ除去フィルタを有するノイズ除去フィルタ1815とを設け、例えば選択部1814により選択されフィルタが信号S1804を基にノイズ除去処理を行い、その後ガウシアンラプラシアンフィルタ1806によりエッジ強調処理を行い2値化するので、例えば画像データS1804から被検体hの生体の乱反射や撮像部11等のデバイスに起因するノイズを除去し、予め決められた第1の範囲r1の閾値を基に、適切に2値化した画像データを生成することができる。
また、画像データS1806を構成する、画素値を示す複数の画素データ毎に、当該画素データの周囲の第1の領域内の画素データのうち最小の画素データを所定の画素データとして画像データS1807を生成する第1の縮退処理部1807と、画像データS1807を構成する複数の画素データ毎に、当該画素データの周囲の第1の領域内の画素データのうち最大の画素データを所定の画素データとして画像データS1808を生成する第1の膨張処理部1808と、画像データS1808を構成する複数の画素データ毎に、当該画素データの周囲の第1の領域よりも大きい第2の領域内の画素データのうち最大の画素データを所定の画素データとして画像データS1809を生成する第2の膨張処理部1809と、画像データS1809を構成する複数の画素データ毎に、当該画素データの周囲の第1の領域よりも大きい第2の領域内の画素データのうち最小の画素データを所定の画素データとして画像データS1810を生成する第2の縮退処理部1810とを設けたので、線形状のパターンを残し、ノイズ成分としてのパターンを除去できる。
また、ローパスフィルタ部1811が、画像データ内の線形状のパターンを残すように、画像データを2次元フーリエ変換処理した2次元フーリエ空間上で周波数成分が線形状のパターンを残させる閾値よりも低周波数成分データを特定し、その特定した低周波数成分データを逆2次元フーリエ変換処理することで線形状のパターンを抽出することができる。また、幾何学的に対称なパターンを除去することができる。
また、一連の処理動作を行うことにより、例えば被検体hの血管を示すパターンを高精度に抽出することができる。
また、個々人特有の血管の静脈を示すパターンを高精度に抽出できるので、そのパターンを基により高精度に認証を行うことができる。
また、従来の画像処理装置では、画像データから血管情報を基に、血管トレース用のAIフィルターを使用するという煩雑な処理を行っていたが、本実施形態に係る画像処理装置1は、例えば被検体hを撮像して得られた画像データを基に高精度に血管を示すパターンを抽出することができるので、従来に比べて処理負担が軽くなる。
図28は、本発明の第3実施形態に係る画像処理装置の機能ブロック図である。
本実施形態に係る画像処理装置1bは、第1および第2実施形態に係る画像処理装置と比べて、マスク部22bの構成要素が異なる点である。
例えば、マスク部22bは、例えば図28に示すように、グレースケール変換部221、分布データ生成部222、特定部223、マッピング部226、およびマスク画像データ生成部227を有する。
グレースケール変換部221、分布データ生成部222、および特定部223は、第1実施形態に係るマスク部22と同様の機能であるので、説明を省略する。
マッピング部226は、特定部223が特定した、マスク画像データを生成するための範囲M内にある画素データを、第1の範囲r1にマッピングして、当該マッピングした画素データで構成される画像データS226を生成する。
図29は、図28に示した画像処理装置のマッピング部226の動作を説明するための図である。
マッピング部226は、例えば図29(a)に示すように、特定部223が特定したマスク画像データを生成するための範囲M内にある画素データを、図29(b)に示すように、第1の範囲r1にマッピング(拡大とも言う)して、当該マッピングした画素データで構成される画像データS226を生成する。
詳細には、マッピング部226は、例えば画素値が0〜Mまでの画素値データの値を、0〜所定の階調、例えば本実施形態では図29(b)に示すように255まで拡大してマッピングを行う。
マスク画像データ生成部227は、マッピング部226が生成した画像データS226を、第1の範囲r1で規定された閾値を基に2値化してマスク画像データS227を生成して、マスク画像データS22として出力する。
詳細には、マスク画像データ生成部227は、例えば図28に示すように、フィルタ部2271、および細化部2272を有する。
フィルタ部2271は、マッピング部226が生成した画像データS226をフィルタ処理を行い2値化したマスク画像データS2271を生成する。
フィルタ処理としては、例えば、ガウシアンフィルタ、メディアンフィルタ、最大値フィルタ、最小値フィルタ、2次元適応ノイズ除去フィルタ、近傍フィルタ、平均化フィルタ、ガウシアンローパスフィルタ、2次元ラプラシアンフィルタ、ガウシアンラプラシアンフィルタ等のフィルタ処理を行う。
細化部2272は、第1実施形態に係る細化部225と同じ機能を有し、例えば画像データS2271を、例えば第2実施形態に示した、単位領域を基にモルフォロジ処理の縮退処理(erode)および膨張処理(dilate)処理を行い、境界部分を除去する。
図30は、本発明の第3実施形態に係る画像処理装置の動作を説明するためのフローチャートである。図31は、本発明の第3実施形態に係る画像処理装置の動作を説明するための図である。図30,31を参照しながら、画像処理装置1bの動作を、第1および第2実施形との相違点を主体として説明する。第1および第2実施形態と同じ動作は説明を省略する。
ステップST101において、CPU18は、例えば撮像系101の照射部1011から被検体hの指に近赤外線を照射させる。撮像部11では、被検体h,光学レンズ1012を介して入力された透過光を基にRBGの画像データS11を生成する。
スケルトン画像生成部21のグレースケール変換部1801では、図31(a)に示すRGBの信号S11を基に例えば256階調のグレースケールに変換して信号S1801として分布データ生成部1802に出力する。
本実施形態では、撮像系101は、RGBの画像データS11を生成したが、この形態に限られるものではない。例えば、撮像系101がグレースケールの画像データS11を生成した場合には、グレースケール変換部1801の処理を行わずに、画像データS11を分布データ生成部1802に出力する。
ステップST102において、分布データ生成部1802では、信号S1801を基に、例えば横軸cを階調の値(画素値ともいう),縦軸fをその画素データの数(度数ともいう)とすると、例えば、図29(a),図31(b)に示すように第1の範囲r1として256階調の範囲の画素値を示す画素データについて、分布データd1としてヒストグラムを生成する。
本実施形態では、例えばスケルトン画像生成部21とマスク部22のグレースケール変換部およびマッピング部が共通に設けられ、同一の動作を行う。
特定部1803では、信号S1802を基に例えば図9(a)に示すように、分布データd1について第1の範囲r1内のうち、予め決められた閾値V_thの数の画素値r11,r12,r13,r14のなかで最大の画素値r11以下の範囲を第2の範囲r2として特定し、信号S1803として出力する(ST103)。
一方、マスク部22のグレースケール変換部221、分布データ生成部222、および特定部223は、第1実施形態と同様の処理を行い分布データを生成し、図29(a),図31(b)に示すように、分布データd1を基にマスク画像データ用のための範囲Mを生成する。
ステップST104〜ステップST107の処理は、第2実施形態と同様な動作なので説明を省略する。
ステップST104において、マスク画像データを生成すると判別した場合には、ステップST1081において、マッピング部226は、特定部223が特定したマスク画像データを生成するための範囲M内にある画素データを、図29(b)に示すように、第1の範囲r1にマッピングして、図31(c)に示すように、当該マッピングした画素データで構成される画像データS226を生成する。
ステップST1082において、フィルタ部2271は、マッピング部226が生成した画像データS226をフィルタ処理を行い、図31(d)に示すように、2値化したマスク画像データS2271を生成する(ST109)。
ステップST110において、細化部2272は、例えば図31(d)に示す画像データS2271を、単位領域を基にモルフォロジ処理の縮退処理(erode)および膨張処理(dilate)処理を行い、細化処理を行い、図31(e)に示すように、左右の境界部分を細化処理して除去した画像データS2272を生成し、ステップST111に進む。
ステップST111において、マスク画像データおよびスケルトン画像データの両画像データが作成(生成)したか否かが判別され、両画像データを作成(生成)していない場合には、ステップST104の処理に戻る。
一方、ステップST111の判別において、マスク画像データおよびスケルトン画像データの両画像データが生成済みの場合には、ステップST112の処理に進む。
ステップST112において、画像生成部23では、例えば図31(f)に示す、スケルトン画像生成部21が生成したスケルトン画像データを、図31(e)に示すマスク画像データS2272を基にマスク処理を行い、詳細にはAND演算処理を行い、認証に必要な画像データを抽出して画像データS23を生成し(ST113)、認証部103は画像データS23を基に認証処理を行う(ST114)。
以上説明したように、本実施形態では、画像データを構成し、予め規定された第1の範囲r1の画素値を示す複数の画素データについて画素データの分布を示す分布データd1を生成する分布データ生成部222と、分布データ生成部222が生成した分布データd1および予め設定した値を基に、マスク画像データを生成するための範囲Mを特定する特定部223と、特定部223が特定した範囲M内にある画素データを第1の範囲r1にマッピングして、当該マッピングした画素データで構成される画像データS226を生成するマッピング部226と、マッピング部226が生成した画像データS226を、第1の範囲rで規定された閾値を基に2値化してマスク画像データS22を生成するマスク画像データ生成部22bとを設け、詳細には、マスク画像データ生成部22bには、信号S226を基にフィルタ処理を行い、第1の範囲rで規定された閾値を基に、2値化処理を行い画像データS2271を生成し、画像データS2271を細化処理を行い画像データS22を生成する細化部2272とを設けたので、第1実施形態と比べて、ノイズの少ない高精度なマスク画像データS22を生成することができる。
また、認証部103は、そのマスク画像データS22を基に、第1実施形態よりも高精度な認証処理を行うことができる。
また、画像データS11から認証に必要な情報と、認証に不必要な情報とを容易に分離することができる。
なお、本発明は本実施形態に限られるものではなく、任意好適な種々の変更が可能である。
本実施形態では、被検体(生体)の一部を撮影した場合を例に挙げて説明したが、生体に限られるものではない。
必要な情報の例として指静脈の血管抽出を挙げているが、これに限られるものではない。
また、フィルタ処理に関しては、例えばガウシャンフィルタ等を例に説明したが、この形態に限られるものではない。
また、本実施形態では、グレースケール変換部を設けたがこの形態に限られるものではない。例えば撮像部が所定の階調のグレースケールの画像を生成した場合には、グレースケール変換部を設けなくてもよい。
また、本実施形態では、スケルトン画像生成部21およびマスク部22それぞれに、グレースケール変換部および分布データ生成部それぞれを設けたが、この形態に限られるものではない。
例えば、スケルトン画像生成部21およびマスク部22の前段に、グレースケール変換部および分布データ生成部を共通に設けてもよい。こうすることで処理負担が軽減される。
また、実施形態では特定部223が、マスク画像データを生成する際に、分布データ生成部222が生成した分布データd1、および予め設定した値Mthを基に、マスク画像データを生成するための閾値Mを特定し、閾値Mを信号S223として2値化部224に出力し、2値化部224が、画素値0〜Mまでの画像データにより、マスク画像データを生成しする形態を説明したが、この形態に限られるものではない。
例えば、図32に示すように、マスク画像データを生成するために必要な領域の画素値の開始点を、ヒストグラムの値が閾値thを超えた画素値Sとし、つまり画素値0の場合も含むが、画素値0からとは限らない。この例ではマスク画像データを生成する場合には、画素値SからMまでを用いる。
また、スケルトン画像データを生成する際にも、画素値0からとは限らずに、別の閾値thを超えた画素値SからEまでの画素を用いてもよい。
本発明に係る画像処理装置の第1実施形態を示す全体の概念図である。 図1に示した画像処理装置のハードウェア的なブロック図である。 図1に示した画像処理装置の機能ブロック図である。 図3に示したマスク部の一実施形態に係る機能ブロック図である。 図1に示した画像処理装置の動作を説明するための図である。 図1に示した画像処理装置の動作を説明するためのフローチャートである。 本発明の第2実施形態に係る画像処理装置1aのスケルトン画像生成部21の一実施形態を示す機能ブロック図である。 図1に示した画像処理装置の動作を説明するための図である。 図7に示した特定部の動作を説明するための図である。 図1に示した画像処理装置のマッピング処理に係る動作を説明するためのフローチャートである。 図1に示した画像処理装置のフィルタ処理に係る機能ブロック図である。 ガウシアンフィルタを説明するための図である。 ガウシアンラプラシアンフィルタを説明するための図である。 第2実施形態に係る画像処理装置1aのノイズ除去処理を説明するための図である。 図1に示した画像処理装置の動作を説明するためのフローチャートである。 本発明の第2実施形態に係る画像処理装置1aの動作を説明するための概念図である。 本発明の第2実施形態に係る画像処理装置の縮退処理および膨張処理を説明するための図である。 本発明の第2実施形態に係る画像処理装置1aの動作を説明するための図である。 本発明の第2実施形態に係る画像処理装置1aの動作を説明するためのフローチャートである。 図7に示した画像処理装置の第1のローパスフィルタ処理の動作を説明するための図である。 ローパスフィルタ部の第2のローパスフィルタ処理の動作を説明するための図である。 、ローパスフィルタ部の第3のローパスフィルタ処理の動作を説明するための図である。 図7に示した画像処理装置のローパスフィルタ部の動作を説明するための図である。 図7に示した画像処理装置のローパスフィルタ部の動作を説明するための図である。 図7に示した画像処理装置のローパスフィルタ部の動作を説明するためのフローチャートである。 図7に示した画像処理装置1aのスケルトン部の動作を説明するための図である。 図7に示した第2実施形態に係る画像処理装置1aの全体の動作を説明するためのフローチャートである。 本発明に係る第3実施形態に係る画像処理装置1bの機能ブロック図である。 図28に示した画像処理装置のマッピング部226の動作を説明するための図である。 本発明の第3実施形態に係る画像処理装置の動作を説明するためのフローチャートである。 本発明の第3実施形態に係る画像処理装置の動作を説明するための図である。 本発明に係る画像処理装置の動作を説明するための図である。
符号の説明
1,1a,1b…画像処理装置、11…撮像部、12…入力部、13…出力部、14…通信インタフェース、15…RAM(Random access Memory)、16…ROM(Read only memory)、17…記憶部、18…CPU、21…スケルトン画像生成部、22,22b…マスク部、101…撮像系、102…抽出部、103…認証部、221…グレースケール変換部、222…分布データ生成部、223…特定部、224…2値化部、225…細化部、226…マッピング部、227…スク画像データ生成部、1011…照射部、1012…光学レンズ、1801…グレースケール変換部、1802…分布データ生成部、1803…特定部、1804…マッピング部、1805…ガウシアンフィルタ、1806…ガウシアンラプラシアン、1807…第1の縮退処理部、1808…第1の膨張処理部、1809…第2の膨張処理部、1810…第2の縮退処理部、1811…ローパスフィルタ部、1812…スケルトン部、1814…選択部、ノイズ除去フィルタ1815、1815_1…ガウシアンフィルタ、1815_2…メディアンフィルタ、1815_3…最大値フィルタ、1815_4…最小値フィルタ、1815_5…2次元適応ノイズ除去フィルタ、1815_6…近傍フィルタ、1815_7…平均化フィルタ、1815_8…ガウシアンローパスフィルタ、1815_9…2次元ラプラシアン近似フィルタ、1815_10…ガウシアンラプラシアンフィルタ、2271…フィルタ部、2272…細化部。

Claims (33)

  1. 第1の画像データをマスク処理する際に用いるマスク画像データを生成する画像処理方法であって、
    前記第1の画像データを構成し、予め規定された範囲の画素値を示す複数の画素データについて前記画素データの分布を示す分布データを生成する第1のステップと、
    前記第1のステップで生成した分布データおよび予め設定した値を基に、前記マスク画像データを生成するための閾値を特定する第2のステップと、
    前記第1の画像データを、前記第2のステップで特定した閾値を基に2値化して前記マスク画像データを生成する第3のステップと
    を有する画像処理方法。
  2. 前記第2のステップは、前記第1のステップで生成した分布データ中のマスク処理対象の特徴を示すパターンを基に前記閾値を特定する
    請求項1に記載の画像処理方法。
  3. 前記第1の画像データを、前記第3のステップで生成したマスク画像データを基にマスク処理を行い第2の画像データを生成する第4のステップを有する
    請求項1に記載の画像処理方法。
  4. 前記第4のステップで生成した第2の画像データを基に、前記第1の画像データの認証処理を行う第5のステップを有する
    請求項3に記載の画像処理方法。
  5. 前記第4のステップは、前記第1の画像データの前記分布データを基に認証用の画像データを生成するための閾値を特定し、当該特定した閾値を基に認証用の画像データを生成し、当該認証用の画像データを前記第3のステップで生成したマスク画像データを基にマスク処理を行い第2の画像データを生成する
    請求項3に記載の画像処理方法。
  6. 第1の画像データをマスク処理する際に用いるマスク画像データを生成する画像処理方法であって、
    前記第1の画像データを構成し、予め規定された第1の範囲の画素値を示す複数の画素データについて前記画素データの分布を示す分布データを生成する第1のステップと、
    前記第1のステップで生成した分布データおよび予め設定した値を基に、前記マスク画像データを生成するための第2の範囲を特定する第2のステップと、
    前記第2のステップで特定した第2の範囲内にある画素データを前記第1の範囲にマッピングして、当該マッピングした前記画素データで構成される第3の画像データを生成する第3のステップと、
    前記第3のステップで生成した前記第3の画像データを、前記第1の範囲で規定された閾値を基に2値化して前記マスク画像データを生成する第4のステップと
    を有する画像処理方法。
  7. 前記第2のステップは、前記第1のステップで生成した分布データ中のマスク処理対象の特徴を示すパターンを基に前記第2の範囲を特定する
    請求項6に記載の画像処理方法。
  8. 前記第4のステップは、前記第3のステップで生成した前記第3の画像データをフィルタ処理を行い2値化した前記マスク画像データを生成する
    請求項6に記載の画像処理方法。
  9. 前記第1の画像データを、前記第4のステップで生成した前記マスク画像データを基にマスク処理を行い第2の画像データを生成する第5のステップを有する
    請求項6に記載の画像処理方法。
  10. 前記第5のステップで生成した第2の画像データを基に、前記第1の画像データの認証処理を行う第6のステップを有する
    請求項9に記載の画像処理方法。
  11. 前記第5のステップは、前記第1の画像データの前記分布データを基に認証用の画像データを生成するための閾値を特定し、当該特定した閾値を基に認証用の画像データを生成し、当該認証用の画像データを前記第3のステップで生成したマスク画像データを基にマスク処理を行い第2の画像データを生成する
    請求項9に記載の画像処理方法。
  12. 第1の画像データをマスク処理する際に用いるマスク画像データを生成する画像処理装置であって、
    前記第1の画像データを構成し、予め規定された範囲の画素値を示す複数の画素データについて前記画素データの分布を示す分布データを生成する分布データ生成手段と、
    前記分布データ生成手段が生成した分布データおよび予め設定した値を基に、前記マスク画像データを生成するための閾値を特定する特定手段と、
    前記第1の画像データを、前記特定手段が特定した閾値を基に2値化して前記マスク画像データを生成するマスク画像データ生成手段と
    を有する画像処理装置。
  13. 前記特定手段は、前記分布データ生成手段が生成した分布データ中のマスク処理対象の特徴を示すパターンを基に前記閾値を特定する
    請求項12に記載の画像処理装置。
  14. 前記第1の画像データを、前記マスク画像データ生成手段が生成したマスク画像データを基にマスク処理を行い第2の画像データを生成する画像生成手段を有する
    請求項12に記載の画像処理装置。
  15. 前記画像生成手段が生成した第2の画像データを基に、前記第1の画像データの認証処理を行う認証手段を有する
    請求項14に記載の画像処理装置。
  16. 前記第1の画像データの前記分布データを基に認証用の画像データを生成するための閾値を特定し、当該特定した閾値を基に認証用の画像データを生成する認証用画像データ生成手段を有し、
    前記画像生成手段は、前記認証用画像データ生成手段が生成した認証用の画像データを前記マスク画像データ生成手段が生成したマスク画像データを基にマスク処理を行い第2の画像データを生成する
    請求項14に記載の画像処理装置。
  17. 第1の画像データをマスク処理する際に用いるマスク画像データを生成する画像処理装置であって、
    前記第1の画像データを構成し、予め規定された第1の範囲の画素値を示す複数の画素データについて前記画素データの分布を示す分布データを生成する分布データ生成手段と、
    前記分布データ生成手段が生成した分布データおよび予め設定した値を基に、前記マスク画像データを生成するための第2の範囲を特定する特定手段と、
    前記特定手段が特定した第2の範囲内にある画素データを前記第1の範囲にマッピングして、当該マッピングした前記画素データで構成される第3の画像データを生成するマッピング手段と、
    前記マッピング手段が生成した前記第3の画像データを、前記第1の範囲で規定された閾値を基に2値化して前記マスク画像データを生成するマスク画像データ生成手段と
    を有する画像処理装置。
  18. 前記特定手段は、前記分布データ生成手段が生成した分布データ中のマスク処理対象の特徴を示すパターンを基に前記第2の範囲を特定する
    請求項17に記載の画像処理装置。
  19. 前記マスク画像データ生成手段は、前記マッピング手段が生成した前記第3の画像データをフィルタ処理を行い2値化した前記マスク画像データを生成する
    請求項17に記載の画像処理装置。
  20. 前記第1の画像データを、前記マスク画像データ生成手段が生成した前記マスク画像データを基にマスク処理を行い第2の画像データを生成する画像生成手段を有する
    請求項17に記載の画像処理装置。
  21. 前記画像生成手段が生成した第2の画像データを基に、前記第1の画像データの認証処理を行う認証手段を有する
    請求項20に記載の画像処理装置。
  22. 前記第1の画像データの分布データを基に認証用の画像データを生成するための閾値を特定し、当該特定した閾値を基に認証用の画像データを生成する認証用画像データ生成手段を有し、
    前記画像生成手段は、前記認証用画像データ生成手段が生成した認証用の画像データを前記マスク画像データ生成手段が生成したマスク画像データを基にマスク処理を行い第2の画像データを生成する
    請求項20に記載の画像処理装置。
  23. 第1の画像データをマスク処理する際に用いるマスク画像データを生成する画像処理装置に実行されるプログラムであって、
    前記第1の画像データを構成し、予め規定された範囲の画素値を示す複数の画素データについて前記画素データの分布を示す分布データを生成する第1の手順と、
    前記第1の手順で生成した分布データおよび予め設定した値を基に、前記マスク画像データを生成するための閾値を特定する第2の手順と、
    前記第1の画像データを、前記第2の手順で特定した閾値を基に2値化して前記マスク画像データを生成する第3の手順と
    を有するプログラム。
  24. 前記第2の手順は、前記第1の手順で生成した分布データ中のマスク処理対象の特徴を示すパターンを基に前記閾値を特定する
    請求項23に記載のプログラム。
  25. 前記第1の画像データを、前記第3の手順で生成したマスク画像データを基にマスク処理して第2の画像データを生成する第4の手順を有する
    請求項23に記載のプログラム。
  26. 前記第4の手順で生成した第2の画像データを基に、前記第1の画像データの認証処理を行う第5の手順を有する
    請求項25に記載のプログラム。
  27. 前記第4の手順は、前記第1の画像データの前記分布データを基に認証用の画像データを生成するための閾値を特定し、当該特定した閾値を基に認証用の画像データを生成し、当該認証用の画像データを前記第3の手順で生成したマスク画像データを基にマスク処理を行い第2の画像データを生成する
    請求項25に記載のプログラム。
  28. 第1の画像データをマスク処理する際に用いるマスク画像データを生成する画像処理装置に実行されるプログラムであって、
    前記第1の画像データを構成し、予め規定された第1の範囲の画素値を示す複数の画素データについて前記画素データの分布を示す分布データを生成する第1の手順と、
    前記第1の手順で生成した分布データおよび予め設定した値を基に、前記マスク画像データを生成するための第2の範囲を特定する第2の手順と、
    前記第2の手順で特定した第2の範囲内にある画素データを前記第1の範囲にマッピングして、当該マッピングした前記画素データで構成される第3の画像データを生成する第3の手順と、
    前記第3の手順で生成した前記第3の画像データを、前記第1の範囲で規定された閾値を基に2値化して前記マスク画像データを生成する第4の手順と
    を有するプログラム。
  29. 前記第2の手順は、前記第1の手順で生成した分布データ中のマスク処理対象の特徴を示すパターンを基に前記第2の範囲を特定する
    請求項28に記載のプログラム。
  30. 前記第4の手順は、前記第3の手順で生成した前記第3の画像データをフィルタ処理を行い2値化した前記マスク画像データを生成する
    請求項28に記載のプログラム。
  31. 前記第1の画像データを、前記第4の手順で生成した前記マスク画像データを基にマスク処理を行い第2の画像データを生成する第5の手順を有する
    請求項28に記載のプログラム。
  32. 前記第5の手順で生成した第2の画像データを基に、前記第1の画像データの認証処理を行う第6の手順を有する
    請求項31に記載のプログラム。
  33. 前記第5の手順は、前記第1の画像データの前記分布データを基に認証用の画像データを生成するための閾値を特定し、当該特定した閾値を基に認証用の画像データを生成し、当該認証用の画像データを前記第4の手順で生成したマスク画像データを基にマスク処理を行い第2の画像データを生成する
    請求項31に記載のプログラム。
JP2003288259A 2003-08-06 2003-08-06 画像処理方法、画像処理装置、およびプログラム Pending JP2005056282A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003288259A JP2005056282A (ja) 2003-08-06 2003-08-06 画像処理方法、画像処理装置、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003288259A JP2005056282A (ja) 2003-08-06 2003-08-06 画像処理方法、画像処理装置、およびプログラム

Publications (1)

Publication Number Publication Date
JP2005056282A true JP2005056282A (ja) 2005-03-03

Family

ID=34366974

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003288259A Pending JP2005056282A (ja) 2003-08-06 2003-08-06 画像処理方法、画像処理装置、およびプログラム

Country Status (1)

Country Link
JP (1) JP2005056282A (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007011989A (ja) * 2005-07-04 2007-01-18 Sony Corp 画像処理装置、画像処理方法及びプログラム
WO2007029592A1 (ja) * 2005-09-06 2007-03-15 Sony Corporation 画像処理装置、画像判定方法及びプログラム
WO2008140077A1 (ja) 2007-05-16 2008-11-20 Sony Corporation 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
WO2008139883A1 (ja) * 2007-05-16 2008-11-20 Sony Corporation 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
WO2008139884A1 (ja) * 2007-05-16 2008-11-20 Sony Corporation 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
WO2008140078A1 (ja) * 2007-05-16 2008-11-20 Sony Corporation 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
WO2010041731A1 (ja) * 2008-10-10 2010-04-15 日本電気株式会社 照合装置、照合方法、及びプログラム
US8311332B2 (en) 2005-09-06 2012-11-13 Sony Corporation Image processing system, mask fabrication method, and program
JP2019505041A (ja) * 2015-12-18 2019-02-21 ベンタナ メディカル システムズ, インコーポレイテッド 異なる取得性質を持つ画像を分離するシステム及び方法

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007011989A (ja) * 2005-07-04 2007-01-18 Sony Corp 画像処理装置、画像処理方法及びプログラム
US7912293B2 (en) 2005-09-06 2011-03-22 Sony Corporation Image processing system and image judgment method and program
WO2007029592A1 (ja) * 2005-09-06 2007-03-15 Sony Corporation 画像処理装置、画像判定方法及びプログラム
JP2007072677A (ja) * 2005-09-06 2007-03-22 Sony Corp 画像処理装置、画像判定方法及びプログラム
US8311332B2 (en) 2005-09-06 2012-11-13 Sony Corporation Image processing system, mask fabrication method, and program
US8320639B2 (en) 2007-05-16 2012-11-27 Sony Corporation Vein pattern management system, vein pattern registration apparatus, vein pattern authentication apparatus, vein pattern registration method, vein pattern authentication method, program, and vein data configuration
US8270681B2 (en) 2007-05-16 2012-09-18 Sony Corporation Vein pattern management system, vein pattern registration apparatus, vein pattern authentication apparatus, vein pattern registration method, vein pattern authentication method, program, and vein data configuration
JP2008287433A (ja) * 2007-05-16 2008-11-27 Sony Corp 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
JP2008287428A (ja) * 2007-05-16 2008-11-27 Sony Corp 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
JP2008287432A (ja) * 2007-05-16 2008-11-27 Sony Corp 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
WO2008140077A1 (ja) 2007-05-16 2008-11-20 Sony Corporation 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
WO2008139884A1 (ja) * 2007-05-16 2008-11-20 Sony Corporation 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
WO2008140078A1 (ja) * 2007-05-16 2008-11-20 Sony Corporation 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
US8275174B2 (en) 2007-05-16 2012-09-25 Sony Corporation Vein pattern management system, vein pattern registration apparatus, vein pattern authentication apparatus, vein pattern registration method, vein pattern authentication method, program, and vein data configuration
WO2008139883A1 (ja) * 2007-05-16 2008-11-20 Sony Corporation 静脈パターン管理システム、静脈パターン登録装置、静脈パターン認証装置、静脈パターン登録方法、静脈パターン認証方法、プログラムおよび静脈データ構造
WO2010041731A1 (ja) * 2008-10-10 2010-04-15 日本電気株式会社 照合装置、照合方法、及びプログラム
US8712190B2 (en) 2008-10-10 2014-04-29 Nec Corporation Collating device, collating method, and program
JP5556663B2 (ja) * 2008-10-10 2014-07-23 日本電気株式会社 照合装置、照合方法、及びプログラム
JP2019505041A (ja) * 2015-12-18 2019-02-21 ベンタナ メディカル システムズ, インコーポレイテッド 異なる取得性質を持つ画像を分離するシステム及び方法
US11062168B2 (en) 2015-12-18 2021-07-13 Ventana Medical Systems, Inc. Systems and methods of unmixing images with varying acquisition properties

Similar Documents

Publication Publication Date Title
EP1918852B1 (en) Image processing method and image processor
US9672610B2 (en) Image processing apparatus, image processing method, and computer-readable recording medium
US20020181762A1 (en) Systems and methods for constructing an image having an extended depth of field
JP6342810B2 (ja) 画像処理
CN107038704B (zh) 视网膜图像渗出区域分割方法、装置和计算设备
WO2015037141A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
WO2015092904A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2005056282A (ja) 画像処理方法、画像処理装置、およびプログラム
Mudassar et al. Extraction of blood vessels in retinal images using four different techniques
CN108876850A (zh) 一种pcb板打孔定位方法
CN106023105B (zh) 一种植物叶片的二值图像生成方法及系统
CN115578304A (zh) 一种结合显著性区域检测的多波段图像融合方法和系统
Mittal et al. Optic disk and macula detection from retinal images using generalized motion pattern
Isavand Rahmani et al. Retinal blood vessel segmentation using gabor filter and morphological reconstruction
CN113052833A (zh) 一种基于红外热辐射的非视域成像方法
JP5087151B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム
JP2001258599A (ja) 細胞系譜抽出方法
CN112991359A (zh) 一种路面区域提取方法、系统、电子设备及存储介质
Du et al. Bas-relief map using texture analysis with application to live enhancement of ultrasound images
Chandra et al. Retinal based image enhancement using contourlet transform
JP2014036698A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Bertolotti Automatic segmentation of pelvic floor ring on 3D ultrasound
JP4098098B2 (ja) 安定度検証に特長をもつ画像処理手順設計エキスパートシステム
JP3572501B2 (ja) パターン識別装置
JP4188707B2 (ja) 評価処理に特長をもつ画像処理手順設計エキスパートシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090609

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090908

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091027

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091201