JP2012190148A - 画像処理装置、画像処理方法、及びコンピュータプログラム - Google Patents

画像処理装置、画像処理方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP2012190148A
JP2012190148A JP2011051693A JP2011051693A JP2012190148A JP 2012190148 A JP2012190148 A JP 2012190148A JP 2011051693 A JP2011051693 A JP 2011051693A JP 2011051693 A JP2011051693 A JP 2011051693A JP 2012190148 A JP2012190148 A JP 2012190148A
Authority
JP
Japan
Prior art keywords
image
image processing
block
unit
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011051693A
Other languages
English (en)
Other versions
JP5828649B2 (ja
Inventor
Hideaki Miyamoto
秀昭 宮本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011051693A priority Critical patent/JP5828649B2/ja
Priority to US13/411,445 priority patent/US8983122B2/en
Priority to KR20120021604A priority patent/KR101493375B1/ko
Priority to EP12158177A priority patent/EP2498219A1/en
Priority to CN201510917272.2A priority patent/CN105335945B/zh
Priority to CN201210061577.4A priority patent/CN102743181B/zh
Publication of JP2012190148A publication Critical patent/JP2012190148A/ja
Application granted granted Critical
Publication of JP5828649B2 publication Critical patent/JP5828649B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/90
    • G06T5/70
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Optics & Photonics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract


【課題】 本発明に依れば、多様性に富んだ画像を画像処理する仕組みを提供する。
【解決手段】 画像の複数のブロックごとに識別情報を得る第一の取得手段と、
前記識別情報に基づいて定められた前記画像の領域の画素値から画像処理に必要な情報を得る第二の取得手段と、
前記第二の取得手段で得られた情報に基づいて前記画像の画像処理をする画像処理手段と、
を備える。
【選択図】 図1

Description

本発明は、放射線の撮影において得られた画像の画像処理に関し、特に画像処理の処理方法を定める技術に関する。
近年のディジタル技術の進歩により、フラットパネルディスプレイ(FPD)のような、X線画像をディジタルデータとして出力可能な2次元X線センサも広く用いられるようになってきた。
医療用X線撮影は、一般に人体等の医療診断に用いられ、診断目的に適したディジタル画像処理が行われることが必要とされる。特許文献1では、被写体の撮影部位、撮影方法に関する情報の入力を行い、あらかじめ定められた画像処理アルゴリズムを適用する方法が開示されている。この方法に依れば、入力された情報に基づき、診断目的に応じた適切なディジタル画像処理がなされた画像を得ることができる。
また、画像処理パラメータを個別の画像に対して入力せずとも汎用的に画像処理する技術が望まれている。
このような技術として、特許文献2では、画像から診断上不要な部分である照射野領域外やセンサに直接X線が照射野された素抜け領域を画像解析により取り除き、それ以外の被写体領域をヒストグラム解析して画像処理パラメータを求めている。
一方で、X線動画撮影では、撮影範囲を連続的に変更する。このため、コリメータの絞り方、素抜け領域の有無、肺野や骨領域等特徴的な人体構造の形状や位置関係、画像内で占める大きさなどが様々で、多様性に富んだ画像が撮像され汎用性に富んだ画像処理が望まれている。
また、X線照射量を低減する必要がある。このため、ユーザの望む画質を得ることが難しく、階調処理、ダイナミックレンジ圧縮処理、ノイズ低減処理、エッジ強調処理等の画像処理の重要性はさらに高まっている。
特開昭61−68031号広報 特開2006−087934号広報
しかしながら、特許文献1に示したような撮影部位、撮影方法に関する情報の入力する方法では、画像毎に情報を入力する必要があり、多様な画像に対して汎用的に適用することは困難である。
また、特許文献2に示したように、照射野外や素抜け領域を認識処理で抽出する処理は、パラメータを定めた範囲の画像にしか対応できない。このため、適用できる画像に制限がある。
本願に関する発明は、上記課題を解決するものであり、画像処理の処理方法を、画像の多様性に依らず安定して定める仕組みを提供する。
本発明は、画像の複数のブロックごとに識別情報を得る第一の取得手段と、
前記識別情報に基づいて定められた前記画像の領域の画素値から画像処理に必要な情報を得る第二の取得手段と、
前記第二の取得手段で得られた情報に基づいて前記画像の画像処理をする画像処理手段と、
を備える。
本発明によれば、多様性のある画像に対する汎用性の高い画像処理の仕組みを提供できる。
実施例1のX線画像処理システムの構成を説明する図である。 実施例1の画像解析処理部の処理の流れを説明する図である。 実施例2のX線画像処理システムの構成を説明する図である。 実施例2の画像解析処理部の処理の流れを説明する図である。 実施例3のX線画像処理システムの構成を説明する図である。 実施例3の画像解析処理部の処理の流れを説明する図である。 本発明を実現可能なコンピュータシステムの一例を示す図である。
以下、図面を参照して、本発明の好適な実施形態を例示的に詳しく説明する。
本発明の第1実施形態にかかるX線画像処理システムを、図1を参照して説明する。X線画像処理システム100は、毎秒3〜30パルスのX線パルスを発生することが可能なX線発生部101と、被写体102を通過したX線103を受けてX線パルスに同期した動画像をX線画像として撮像する2次元X線センサ104を有する。なお、以下の実施例でX線発生部101を連続照射するように構成し、2次元X線センサ104の撮像を、毎秒3〜30の画像を撮像するように構成してもよい。
さらにX線画像処理システム100は、2次元X線センサ104が出力する動画像の各フレームを解析して画像解析値を出力する画像解析処理部105と、画像解析値に基づいて動画像の各フレームに画像処理を行う画像処理部106を有する。
また、X線画像処理システム100は、画像処理がなされた動画像を表示する画像表示部107を有する。
画像解析処理部105の構成は、本実施の形態で最も特徴的な構成であり、さらに詳しく説明する。
画像解析処理部105は、動画像の各フレームを所定の画素数を1つのブロックとして分割するブロック分割部108と、分割されたブロック毎に識別情報を取得する第一の取得部109を有する。第一の取得部109はブロックごとに識別情報を算出するか、算出結果を外部装置から取得する。以後の実施形態では第一の取得部109が識別情報を算出する場合について説明する。
さらに、画像解析処理部105は識別情報が所定の識別条件を満たすブロックを抽出する領域の識別部110を有する。そして、領域の識別部110が抽出したブロックを構成する画素に基づいて画像処理に必要な情報を取得する第二の取得部111を有する。第二の取得部111が出力する情報を画像解析処理部105の画像解析値と呼ぶこととする。
以上の構成をもつ画像解析処理部105の動作をさらに図2に示すフローチャートを用いて説明する。本説明では、簡略化のため、X線センサ104が出力する動画像の各フレームを512×512の画素で構成される画像とする。また、画像解析処理部105で行う画像解析処理を、この画像から大小二つの画素値を画像処理に必要な情報として出力する。
さらに、画像処理部106で行う画像処理を、抽出された大小二つの画素値が表す画素値範囲を、所定の画素値範囲に変換することでコントラストを強調する階調処理とする。
ステップS201において、画像解析処理部105は、2次元X線センサ104が出力する動画像の各フレームをブロック分割部108に入力する。ブロック分割部108は、512×512画素で構成される画像を、例えば8×8画素を1ブロックとする64×64ブロックに分割して出力する。
ステップS202において、画像解析処理部105は、ブロック分割部108が出力するブロックを第一の取得部109に入力する。第一の取得部109は、ブロックに含まれる画素から識別情報として、ブロック内画素値のばらつきを示す量を算出する。このブロック内画素値のばらつきを示す量としては様々なものが考えられるが、本実施例では次式に示す分散値Varを用いる場合を例に説明する。
Figure 2012190148
上式において、Lは入力画像の画素値がとりうる値の最大値、P(l)は画素値がlであるブロック内の画素数をブロック内の総画素数で除して正規化した値、Meanはブロック内画素の平均値である。この識別情報算出処理は、入力されたブロック全てに対して適用する。つまり、本説明の処理に従えば64×64ブロックから対応する64×64の分散値Varを識別情報として出力する。
ステップS203において、画像解析処理部105は、第一の取得部109が出力する識別情報を領域の識別部110に入力する。領域の識別部110は、識別情報が示すブロック内画素のばらつきが所定の識別条件を満たすか否かを判定し、識別条件を満たす識別情報に対応したブロックを関心ブロックとして出力する。ここで、識別情報として分散値Varを用いた場合、位置(x,y)のブロックBlk(x,y)が関心ブロックかそれ以外かは、ブロックBlk(x,y)に対応する分散値をVar(x,y)として、例えば次式のような識別条件を用いて判定する。
Figure 2012190148
上式において、Tvarは関心ブロックとそれ以外とを識別する閾値であり、経験的に求めた値を用いる。この例では、統計量である分散値が所定の範囲にあるブロックを関心ブロックとしている。
ステップS204において、画像解析処理部105は、領域の識別部110が出力する関心ブロックと2次元X線センサ104が出力する動画像の各フレームを第二の取得部111に入力する。第二の取得部111は、動画像の各フレームを構成する画素のうち、関心ブロックに属する画素から最小値及び最大値を算出し、画像処理に必要な情報として出力する。
この最小値及び最大値が関心ブロック内の画素値の分布を代表する値となる。また、画像解析処理部105が出力する画像解析値である。画像処理部106は、この二つの画素値が表す画素値範囲を所定の画素値範囲に変換することで入力である動画像の各フレームのコントラストを強調して出力する。前記画素値の分布情報に基づいて前記画像に画像処理部106は階調処理を施す。
本実施の形態に依れば、画像をブロック分割し、ブロック内の画素値の局所的ばらつきに基づいて関心ブロックを識別し、識別した関心ブロックを構成する画素から大小二つの画素値を算出し画像解析値とする。この画像解析値は、動画像の各フレームのコントラストを強調する階調処理に必要な大小二つの画素値として用いられる。
この構成では、動画像の各フレームに描出されている被写体構造物の種類や位置関係といった画像の意味的情報を用いず、局所領域の分散値といった統計的情報に基づいて画像処理に必要な情報を得る。従って、被写体構造物の種類や位置関係といった画像の意味的情報を認識・理解する必要が無く、画像内のコリメータや素抜け領域の有無、被写体撮影部位に依らない汎用化が実現できる。
また、上述の説明では、ステップS201において画像解析処理部105は、2次元X線センサ104が出力する動画像の各フレームを直接ブロック分割部108に入力したが、その前に画像縮小処理を行う構成にしても良い。例えば、動画像の各フレームの隣接する2×2画素の平均値を1画素の値とすれば、1/2サイズの画像へと縮小できる。画像解析処理に必要な情報量を失わない程度の適当なサイズへの画像縮小処理であれば、平均値を画素値として用いることによるノイズ低減と、画素数削減による処理速度の向上が可能である。
また、ステップS201におけるブロック分割部108は、あるブロックを構成する画素が他のブロックには属さないように画像をブロック分割してもよい。また、隣接する隣接ブロック間が重複するように画像を分割し、画素が複数のブロックに属するようにしても良い。
例えば、ブロック間にエッジが存在する場合、ブロックの重複を行わなければエッジ情報が失われるが、ブロックの重複を行えばエッジ情報を保存することが可能となる。
また、上述の説明において、識別情報として分散値Varを用いたが、ブロック内のばらつきを表す統計量は、分散値に限られるものではなく、例えば、次式に示すエネルギーEgyやエントロピーEpyを用いても良い。
Figure 2012190148
これらの統計量は、計算量やステップS203の識別条件の定義し易さを考慮し、画像のテクスチャ特性を示すものを用いればよい。
また、上述の説明では、ステップS202において第一の取得部109は、識別情報として、ブロック内画素のばらつきを示す特徴量を算出するとしたが、複数の特徴量を算出する構成にしても良い。例えば、ブロックを構成する画素からエッジ部分の存在情報を示す統計量を算出し、識別情報に含める。そしてステップS203において、強いエッジや特定の方向を持つエッジを含むブロックを関心ブロックから除く識別条件を加える。
エッジ部分の存在を評価する評価値として、ブロック内画素の最大値と最小値の差や、ブロック内画素(i,j)に縦方向・横方向の微分フィルタをかけた結果であるfy(i,j),fx(i,j)から次式により算出される勾配強度mag(i,j)、勾配方向θ(i,j)の平均値やピーク値を用いる。
Figure 2012190148
この構成に依れば、ステップS203においてエッジ情報を考慮した関心ブロックの識別が可能となる。
これにより、X線が2次元X線センサ104の受光面を直接照射している照射領域の端部を関心ブロックから除たり、金属等の人工物が入っている領域を心ブロックから除く効果を有する。
また、ブロックを構成する画素の最小値、最大値、平均値、中央値、ピーク値など画素値に基づく統計量を算出して識別情報に含めても良い。この場合、ステップS203においては、例えば画素値に基づく統計量が高すぎる場合や低すぎるブロックを関心ブロックから除く識別条件を加える。この構成に依れば、ステップS203において画素値を考慮した関心ブロックの識別が可能となる。これにより、す抜け部や照射野外の画像を除くこともできる。
さらに、ブロックの位置を識別情報に含めても良い。ステップS203においては、例えば画像の端よりも中央に重みを置く識別条件を加える構成も考えられる。これは、一般に、X線画像の取得においては、興味ある被写体部位は画像の中央部分に位置するように撮影するためである。さらに、照射野の端部は画像の中央部分に位置しないように撮影されることを考慮したものである。これにより、簡易に安定した画像処理に必要な情報を得ることができる。
また、上述の説明では、画像処理部106で行う画像処理を階調処理とし、画像解析処理部105ではこの階調処理に必要な画像解析値を求める構成とした。
しかし、本発明の画像処理は階調処理に限るものではない。図示しない画像処理選択部115が、階調処理、ダイナミックレンジ圧縮処理、ノイズ低減処理、エッジ強調処理のいずれかひとつ以上を選択する。そして、選択された画像処理に応じた識別情報を求める構成にできる。
ノイズ低減処理では、X線の照射量の少ない領域の情報が重要になるので、識別情報として画素値の値を加えて、センサーのS/N特性から定まるX線の照射の少ない低画素値範囲を関心領域とする。これによりノイズの特性に合った低減処理を選択することができる。関心ブロック内の孤立陰影の発生度数をノイズの評価値として第二の取得部111は取得し、画像処理部106は例えば、平滑化フィルタのサイズを評価値に基づいて決定する。
このように階調変換処理と識別情報及び識別条件が異なる。
また、エッジ強調処理では、X線の照射量の少ない領域を強調しないこととともに肺野等の高画素値領域の情報が重要になる。
例えば、高画素値範囲であり前記(2式)の条件の合う範囲を関心ブロックとして選択する。分散の小さいす抜け領域を除いた被写体領域から情報を選択することができるためである。例えば、強調したい周波数帯域を関心ブロックの画像の空間周波数から第二の取得部111は解析値として取得し、画像処理部106は、強調フィルタのサイズを解析値に基づいて決定する。
このように階調変換処理、ノイズ低減処理と識別情報及び識別条件が異なる。
ダイナミックレンジ圧縮処理では、階調変換処理と同様の関心ブロックに属する画素から最小値及び最大値を求めて画像解析値とし、画像解析値に基づいてダイナミックレンジ圧縮処理を行う。さらに、ダイナミックレンジ圧縮処理に用いる周波数処理の帯域はエッジ強調処理と同様の関心部ブロックに属する画素から第二の取得部111は解析値として取得し、画像処理部106は、処理フィルタのサイズを解析値に基づいて決定する。
この場合には、関心領域が二種類生成されており、それぞれから画像処理に必要な情報が取得される。
このように階調変換処理、ノイズ低減処理、エッジ強調処理と識別情報、識別条件が異なる。
また、エッジ強調処理、イナミックレンジ圧縮処理は周波数処理であり、
分割ブロックのサイズは階調変換処理、ノイズ低減処理が選択された場合よりも大きいことが好ましい。
さらには画像処理部106で行う画像処理は、上記の階調処理、ダイナミックレンジ圧縮処理、ノイズ低減処理、エッジ強調処理の全て、あるいは複数を組み合わせて行う構成としても良い。その場合、画像解析部105は、画像処理部106で行う画像処理に必要な全ての画像解析値を算出するために、複数の識別情報、複数の関心ブロック、複数の画像処理に必要な情報を算出する構成とする。
また、画像処理部106で行う画像処理は、X線画像処理システム100に備え付けられた図示しない操作卓より選択できる構成にしても良い。このとき、操作卓より選択された画像処理に従い、画像解析部105は必要な識別情報、関心ブロック、像処理に必要な情報を算出し、画像解析値を求める構成とする。
また、第一の取得部109及び領域の識別部110は、ブロック間で互いに独立した処理である。従って、GPUのような並列演算処理装置を用いればブロック分割後の処理を並列実行することができ、さらなる高速化が可能である。
本発明の第2実施形態にかかるX線画像処理システムを、図3を参照して説明する。第2実施形態は、GPUのような並列演算処理装置を用いた場合により好適な構成である。
X線画像処理システム300は、第1実施形態と同様に、毎秒3〜30パルスのX線パルスを発生することが可能なX線発生部101と、被写体102を通過したX線103を受けてX線パルスに同期した動画像をX線画像として撮像する2次元X線センサ104を有する。
さらにX線画像処理システム300は、2次元X線センサ104が出力する動画像の各フレームを解析して画像解析値を出力する画像解析処理部301と、画像解析値に基づいて動画像の各フレームに画像処理を行う画像処理部106を有する。
図3の画像解析処理部301は、第1実施形態と同様に、動画像の各フレームを所定の画素数を1つのブロックとして分割するブロック分割部108を有する。また同様に、分割されたブロック毎に識別情報を算出する第一の取得部109、識別情報が所定の識別条件を満たすブロックを抽出する領域の識別部110を有する。
さらに画像解析処理部301は、ブロック分割部108が出力するブロック毎に画像処理に必要な情報を算出する情報算出部302を有する。また、領域の識別部110が識別した関心ブロックに対応する情報算出部302が出力した情報から画像処理に必要な情報を取得する第二の取得部303を有する。
以上の構成を持つ画像解析処理部301の動作をさらに図4に示すフローチャートを用いて説明する。本説明では、実施例1と同様に、簡略化のため、X線センサ104が出力する動画像の各フレームを512×512の画素で構成される画像とする。また、画像解析処理部105で行う画像解析処理を、この画像から大小二つの画素値を特徴量として抽出する処理とする。さらに、画像処理部106で行う画像処理を、抽出された大小二つの画素値が表す画素値範囲を、所定の画素値範囲に変換することでコントラストを強調する階調処理とする。
ステップS401は第1実施形態のステップS201と同様である。すなわち、2次元X線センサ104が出力する動画像の各フレームをブロック分割部108に入力し、分割したブロックを出力する。
ステップS402において、画像解析処理部301は、ブロック分割部108が出力するブロックを第一の取得部109及び情報算出部302に入力する。第一の取得部109は、第1実施形態と同様に、識別情報として、ブロック内画素値のばらつきを示す特徴量を算出する。一方、情報算出部302は、情報として、ブロック内画素の平均値を算出する。これらの算出処理は、入力されたブロック全てに適用する。すなわち、本処理の仮定に従えば64×64ブロックに対応する識別情報64×64及び情報64×64を出力する。
ステップS403は第1実施形態のステップS203と同様である。すなわち、画像解析処理部301は、第一の取得部109が出力する識別情報を領域の識別部110に入力し、識別情報が所定の識別条件を満たすブロックを関心ブロックとして出力する。
ステップS404において、画像解析処理部301は、第二の取得部302が出力する情報と領域の識別部110が出力する関心ブロックとを第二の取得部303に入力する。第二の取得部303は、ブロックごとの平均値のうち、関心ブロックに属する平均値から最小値及び最大値を選択し、画像解析処理部301の画像解析値として出力する。
画像処理部106は、この画像解析値である最小値及び最大値が表す画素値範囲を所定の画素値範囲に変換することで入力である動画像の各フレームのコントラストを強調して出力する。
以上の処理において、第一の取得部109及び情報算出部302、領域の識別部110は、好適にはGPUのような並列演算処理装置を用いて実現する。
本実施の形態に依れば、画像をブロック分割し、ブロック内の画素値の局所的ばらつきとブロック内の画素平均値を求める。そして画素値の局所的ばらつきに基づいて関心ブロックを識別し、識別した関心ブロックから予め求めておいたブロック内の画素平均値の最小値及び最大値を選択して画像解析値とし、階調処理に用いる。
この構成では、ステップS402において識別情報に加え、画像処理に必要な情報を、並列演算処理装置を用いて予め算出する。これにより、ステップS404では、512×512画素から64×64ブロックまで削減されたデータから画像解析値を選択するだけで良い。これは、第1実施形態のステップS204において関心ブロックを構成する画素から画像処理に必要な情報を算出するよりも高速に行うことができる。
従って、第2実施形態の構成では、第1実施形態と同様の効果に加え、並列演算処理装置の利点を活かした高速化が実現できる。
また、第2実施形態においても、第1実施形態と同様、ステップS201の前に画像縮小処理を行う構成にしても良い。
また、第2実施形態においても、第1実施形態と同様、ステップS201のブロック分割において、隣接ブロックが重複するように画像を分割しても良い。
また、第2実施形態の識別情報は、第1実施形態で述べたものと同様のものを用いることができ、また、複数の特徴量を用いることも可能である。
さらに、第2実施形態の画像処理部106で行う画像処理も、第1実施形態と同様、階調処理に限るものではなく、ダイナミックレンジ圧縮処理やノイズ低減処理、エッジ強調処理を行う場合にも適用できる。
また、第2実施形態においても、第1実施形態と同様、画像処理部106で行う画像処理は、X線画像処理装置300に備え付けられた図示しない操作卓より選択できる構成とし、それに基づいて画像解析部301の出力する画像解析値を切り替えても良い。
以上に述べた構成により、第2実施形態においても、第1実施形態で説明したものと同様の効果が得られる。
本発明の第3実施形態にかかるX線画像処理システムを、図5を参照して説明する。X線画像処理システム500は、毎秒3〜30パルスのX線パルスを発生することが可能なX線発生部101と、被写体102を通過したX線103を受けてX線パルスに同期した動画像をX線画像として撮像する2次元X線センサ104を有する。
さらにX線画像処理システム500は、2次元X線センサ104が出力する動画像の各フレームを解析して画像解析値を出力する画像解析処理部501と、画像解析値に基づいて動画像の各フレームに画像処理を行う画像処理部106を有する。
図6の画像解析処理部501は、第1実施形態と同様に、動画像の各フレームを所定の画素数を1つのブロックとして分割するブロック分割部108を有する。また同様に、分割されたブロック毎に識別情報を算出する第一の取得部109、識別情報が所定の識別条件を満たすブロックを抽出する領域の識別部110を有する。さらに同様に、関心ブロックを構成する画素に基づいて画像処理に必要な情報を取得する第二の取得部111を有し、二の取得部111の出力値を画像解析処理部501の画像解析値として出力する。
図6の画像解析処理部501は、上述の第1実施形態と同様の構成に加え、機械学習部502を有する。
機械学習部502は、過去に取得されたサンプル画像データと、そのサンプル画像データに対応する関心ブロックを予め手入力等で求めた関心ブロックデータとの組み合わせを訓練データとして多数保持する訓練データベース503を有する。
また、機械学習部502は、訓練データベース503が保持するサンプル画像データをブロック分割して識別情報を算出する、画像解析処理部105と同様のブロック分割部504と、第一の取得部505とを有する。
さらに、機械学習部502は、サンプル画像データから算出された識別情報と、訓練データベース503が保持する関心ブロックデータとに基づき、領域の識別部110で用いる識別条件を学習する識別条件学習部506を有する。
以上の構成を持つ画像解析処理部501は、第1実施形態と同様に、動画像に対して画像解析処理及び画像処理を行う画像処理フローの他に、訓練データを用いて識別条件を学習する学習フローを持つ。画像処理フローに関しては第1実施形態と同様であるため説明を省略し、ここでは学習フローの動作を図6に示すフローチャートを用いて説明する。
ステップS601において、画像解析処理部501は、訓練データベース503からサンプル画像を読み出し、ブロック分割部504に入力する。ブロック分割部504は、画像処理フローと同様のブロック分割処理をサンプル画像に施し、分割したブロックを出力する。
ステップS602において、画像解析処理部501は、ブロック分割部504が出力するブロックを第一の取得部505に入力する。第一の取得部505は、画像処理フローと同様の識別情報算出処理を各ブロックに対して行い、ブロック毎に識別情報を算出する。
ステップS603において、画像解析処理部501は、第一の取得部505が出力する識別情報及び訓練データベース503が保持する関心ブロックデータを識別条件学習部506に入力する。識別条件学習部506は、サンプル画像から求められた識別情報と、対応する関心ブロックデータに基づいて識別条件を求める。ここで行う学習処理は、好ましくはSVMのような機械学習処理にて行うことができる。
学習フローで求められた識別条件は、画像処理フローにおける関心ブロック識別手段で用いられる。
以上の説明では、第1実施形態と同様の構成に機械学習部502を加えた構成に関して説明したが、第2実施形態に関して同様に機械学習部502を加えた構成としても良い。
本実施の形態に依れば、予め用意されたサンプル画像データと、それに対応する関心ブロックデータとからなる訓練データから、機械学習により領域の識別部110で用いる識別条件を学習することができる。
これにより、例えば実施例1において説明した数2のような閾値処理で用いる閾値を訓練データから効率的に求めることができる。また、多数の訓練データを用いることで多様な画像に適用可能な識別条件を学習することができる。
さらには、訓練データを追加可能な構成にすることで、識別条件の改善も容易に行うことができる。
ここで、図1、3、5に示した各部は専用のハードウェアにより構成しても良いが、ハードウェアの機能構成をソフトウェアにより実現することも可能である。この場合、図1、1、3、5に示す各部の機能は、情報処理装置にソフトウェアをインストールし、ソフトウェアの実行による画像処理方法を情報処理装置の演算機能を利用して実現することができる。ソフトウェアの実行により、例えば、2次元X線センサ104が出力する動画像の各フレームに対して画像解析工程及び画像処理工程が実行される。
図7は、情報処理装置のハードウェア構成、及びその周辺機器の構成を示すブロック図である。情報処理装置1000は、撮像装置2000と接続しており、互いにデータ通信が可能な構成となっている。
(情報処理装置について)
CPU1010は、RAM1020やROM1030に格納されているプログラムやデータを用いて情報処理装置1000全体的な制御を行うとともに、プログラムの実行により予め定められた画像処理に関する演算処理を実行することが可能である。
RAM1020は、光磁気ディスク1060やハードディスク1050からロードされたプログラムやデータを一時的に記憶するためのエリアを備える。更にRAM1020は、撮像装置2000から取得したX線透視の動画像データを一時的に記憶するためのエリアを備える。また、RAM1020は、CPU1010が各種の処理を実行する際に用いるワークエリアも備える。ROM1030は、情報処理装置1000の設定データや、ブートプログラムなどを格納する。
ハードディスク1050は、OS(オペレーティングシステム)や、図1、2、3、4、5、6に示した各部が行う各処理をコンピュータが備えるCPU1010に実行させるためのプログラムやデータを保持している。そして、これらはCPU1010による制御に従って適宜、RAM1020にロードされ、CPU1010(コンピュータ)による処理対象となる。また、X線透視の動画像のデータをこのハードディスク1050に保存することも可能である。
光磁気ディスク1060は、情報記憶媒体としての一例であり、ハードディスク1050に保存されているプログラムやデータの一部若しくは全部をこの光磁気ディスク1060に格納することが可能である。
マウス1070、キーボード1080は、情報処理装置1000の操作者が操作することで、各種の指示をCPU1010に対して入力することができる。
プリンタ1090は、画像表示部107に表示された画像を記録媒体上に印刷出力することが可能である。
表示装置1100は、CRTや液晶画面などにより構成されており、CPU1010による処理結果を画像や文字などでもって表示することが可能である。例えば、図1、3、5に示した各部により処理され、最終的に画像表示部107から出力された画像を表示することが可能である。この場合、画像表示部107は、表示装置1100に画像を表示するための表示制御手段として機能する。バス1040は、情報処理装置1000内の各部を繋ぎ、各部の間でデータの送受信を行うことを可能にする。
(撮像装置2000について)
次に、撮像装置2000について説明する。撮像装置2000は、例えば、X線透視装置のような、動画像を撮像することが可能であり、撮像された画像データは情報処理装置1000に送信される。なお、画像データは複数をまとめて情報処理装置1000に送信するようにしても良いし、撮像の都度、順次、画像データの送信を行うようにしてもよい。
105、301、501 画像解析処理部
106 画像処理部
108 ブロック分割部
109 第一の取得部
110 領域の識別部
111、303 第二の取得部
115 画像処理選択部
301 画像解析処理部
302 情報算出部
502 機械学習部
503 訓練データベース
506 識別条件学習部
1010 CPU

Claims (17)

  1. 画像の複数のブロックごとに識別情報を得る第一の取得手段と、
    前記識別情報に基づいて定められた前記画像の領域の画素値から画像処理に必要な情報を得る第二の取得手段と、
    前記第二の取得手段で得られた情報に基づいて前記画像の画像処理をする画像処理手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記第二の取得手段で取得される領域は前記画像の所定の中央部分から取得される
    ことを特徴とする請求項1に記載の画像処理装置。
  3. 前記識別情報は前記ブロック内にエッジ部分の存在を評価する評価値を含んでおり、所定のエッジ部分を第二の取得手段で取得される領域から除くことを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記画像処理手段で処理する画像処理を選択する選択手段を更に備え、
    前記選択手段で選択された画像処理に応じて第二の取得手段での前記識別情報、識別条件のいずれかを異ならせることを特徴とする請求項1乃至3のいずれか一項に記載の画像処理装置。
  5. 前記選択手段で選択された画像処理に応じて前記ブロックの大きさを異ならせることを特徴とする請求項4に記載の画像処理装置。
  6. 前記画像処理手段が、階調処理、ダイナミックレンジ圧縮処理、ノイズ低減処理、エッジ強調処理の少なくともいずれか一つを行うことを特徴とする請求項1乃至4のいずれか一項に記載の画像処理装置。
  7. 前記識別情報は前記ブロックを構成する画素値のばらつきを示すのは統計量であり、第二の取得手段は、前記統計量が所定の範囲のブロックを前記領域として識別することを特徴とする請求項1乃至6のいずれか一項に記載の画像処理装置。
  8. 前記第二の取得手段は、前記領域の画素値の分布情報を取得し、
    前記画像処理手段は、前記画素値の分布情報に基づいて前記画像に階調処理またはダイナミックレンジ圧縮処理のいずれか少なくとも一方を施す、ことを特徴とする請求項1及至7のいずれか一項に記載の画像処理装置。
  9. 前記第二の取得手段は、前記領域を構成する画素からノイズの評価値を取得し、
    前記画像処理手段は、前記評価値に基づいて画像にノイズ低減処理を施す、
    ことを特徴とする請求項1及至8のいずれか一項に記載の画像処理装置。
  10. 前記識別情報は、画像のテクスチャ特性を示す統計量であることを特徴とする請求項1乃至9のいずれか一項に記載の画像処理装置。
  11. 前記前記識別情報は、ブロックを構成する画素値から得られる平均値、最大値、最小値、中央値、ピーク値の少なくともいずれかであることを特徴とする請求項1及至10のいずれか一項に記載の画像処理装置。
  12. 前記ノイズの評価値は、ブロックを構成する画素値から求められる、分散値、最大値と最小値の差分値であることを特徴とする請求項9に記載の画像処理装置。
  13. 前記第一の取得手段は、隣接ブロック間でブロックが重複するように分割することを特徴とする請求項1及至12のいずれか一項に記載の画像処理装置。
  14. 前記画像解析処理手段は、
    画像を予め所定のサイズに縮小する画像縮小手段をさらに含むことを特徴とする請求項1乃至請求項13のいずれか一項に記載の画像処理装置。
  15. 前記第二の取得手段は、
    複数のサンプル画像と、前記サンプル画像に対応する予め求められた関心ブロックデータとを用いて、前記関心ブロックで用いる識別情報を学習する識別条件学習手段と、
    をさらに備えることを特徴とする請求項1及至14のいずれか一項に記載の画像処理装置。
  16. 画像の複数のブロックごとに識別情報を得る第一の取得工程と、
    前記識別情報に基づいて定められた前記画像の領域の画素値に基づいて画像処理に必要な情報を得る第二の取得工程と、
    前記第二の取得手段で得られた情報に基づいて前記画像の画像処理をする画像処理工程と、
    を備えることを特徴とする画像処理方法。
  17. 請求項16に記載の画像処理方法をコンピュータに実行させるためのプログラム。
JP2011051693A 2011-03-09 2011-03-09 画像処理装置、画像処理方法、及びコンピュータプログラム Expired - Fee Related JP5828649B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2011051693A JP5828649B2 (ja) 2011-03-09 2011-03-09 画像処理装置、画像処理方法、及びコンピュータプログラム
US13/411,445 US8983122B2 (en) 2011-03-09 2012-03-02 Image processing apparatus, image processing method, and computer-readable storage medium
KR20120021604A KR101493375B1 (ko) 2011-03-09 2012-03-02 화상처리장치, 화상처리방법, 및 컴퓨터 판독가능한 기억매체
EP12158177A EP2498219A1 (en) 2011-03-09 2012-03-06 Image processing apparatus, image processing method, and computer-readable storage medium
CN201510917272.2A CN105335945B (zh) 2011-03-09 2012-03-09 图像处理装置及图像处理方法
CN201210061577.4A CN102743181B (zh) 2011-03-09 2012-03-09 图像处理装置及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011051693A JP5828649B2 (ja) 2011-03-09 2011-03-09 画像処理装置、画像処理方法、及びコンピュータプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015138109A Division JP6120913B2 (ja) 2015-07-09 2015-07-09 画像処理装置、画像処理方法、及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2012190148A true JP2012190148A (ja) 2012-10-04
JP5828649B2 JP5828649B2 (ja) 2015-12-09

Family

ID=45787112

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011051693A Expired - Fee Related JP5828649B2 (ja) 2011-03-09 2011-03-09 画像処理装置、画像処理方法、及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US8983122B2 (ja)
EP (1) EP2498219A1 (ja)
JP (1) JP5828649B2 (ja)
KR (1) KR101493375B1 (ja)
CN (2) CN105335945B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013168779A (ja) * 2012-02-15 2013-08-29 Hitachi-Ge Nuclear Energy Ltd 検査方法および検査装置
WO2017013895A1 (ja) * 2015-07-22 2017-01-26 コニカミノルタ株式会社 コンソール及び動態画像撮影診断システム
JP2020168352A (ja) * 2019-04-01 2020-10-15 キヤノンメディカルシステムズ株式会社 医用装置及びプログラム
JP7076168B1 (ja) 2019-05-05 2022-05-27 湖南省華芯医療器械有限公司 リアルタイム映像における画像の物体輪郭を強調する方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8842184B2 (en) * 2010-11-18 2014-09-23 Thomson Licensing Method for determining a quality measure for a video image and apparatus for determining a quality measure for a video image
KR102216440B1 (ko) * 2013-12-04 2021-02-18 삼성전자주식회사 엑스선 영상 생성 장치 및 방법
CN106441804B (zh) * 2015-08-04 2019-08-30 宁波舜宇光电信息有限公司 解像力测试方法
CN107753273B (zh) * 2017-11-22 2019-07-16 深圳市第二人民医院 一种为鼻炎患者提供舒适清洗的压力球按压压力参考系统
CN111630519A (zh) * 2018-02-14 2020-09-04 株式会社石田 检查装置
JP7190661B2 (ja) * 2019-02-06 2022-12-16 パナソニックIpマネジメント株式会社 画像処理装置、画像処理方法および画像処理システム
CN110766005B (zh) * 2019-10-23 2022-08-26 森思泰克河北科技有限公司 目标特征提取方法、装置和终端设备

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1013854A (ja) * 1996-06-18 1998-01-16 Mitsubishi Electric Corp 映像強調装置
JP2004159087A (ja) * 2002-11-06 2004-06-03 Olympus Corp スキャナシステム、画像処理プログラム
JP2004166007A (ja) * 2002-11-13 2004-06-10 Fuji Xerox Co Ltd 画像処理装置及び画像処理方法、画像処理プログラム、記憶媒体
JP2005039802A (ja) * 2003-06-23 2005-02-10 Fuji Xerox Co Ltd 画像処理装置および画像処理方法、画像処理プログラム、記憶媒体
JP2006155572A (ja) * 2004-11-04 2006-06-15 Sharp Corp 画像処理装置、画像形成装置、画像処理方法、及びコンピュータプログラム
JP2007104706A (ja) * 2006-11-24 2007-04-19 Riso Kagaku Corp 画像処理装置及び画像処理方法
JP2008263288A (ja) * 2007-04-10 2008-10-30 Fuji Xerox Co Ltd 画像処理システム及び画像処理プログラム
JP2009140513A (ja) * 2002-07-16 2009-06-25 Nec Corp パターン特徴抽出方法及びその装置
JP2011003201A (ja) * 2003-09-26 2011-01-06 Fujifilm Corp 画像処理方法および装置並びにプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6168031A (ja) 1984-09-12 1986-04-08 富士写真フイルム株式会社 放射線画像情報読取装置
EP0742536B1 (en) * 1995-05-11 2000-09-13 Agfa-Gevaert N.V. Method of recognising one or more irradiation fields
US7359541B2 (en) 2000-04-28 2008-04-15 Konica Corporation Radiation image processing apparatus
US6975753B2 (en) 2000-09-13 2005-12-13 Canon Kabushiki Kaisha Image processing apparatus, image processing method, program for implementing said method, and storage medium therefor
JP2002092588A (ja) 2000-09-13 2002-03-29 Canon Inc 画像処理装置及び画像処理方法並びに記憶媒体
KR100703284B1 (ko) * 2003-01-30 2007-04-03 삼성전자주식회사 영상신호의 이진화 장치 및 방법
JP3961524B2 (ja) 2004-09-21 2007-08-22 株式会社コナミデジタルエンタテインメント 画像処理装置、画像処理方法、ならびに、プログラム
JP4129598B2 (ja) 2005-09-28 2008-08-06 コニカミノルタホールディングス株式会社 画像処理装置及び画像処理方法
JP4472631B2 (ja) 2005-12-28 2010-06-02 オリンパスメディカルシステムズ株式会社 画像処理装置および当該画像処理装置における画像処理方法
DE602006021701D1 (de) 2006-03-31 2011-06-16 Sony Deutschland Gmbh Verfahren zur Unterscheidung der Texturbereiche und homogenen oder flachen Bereiche in einem Bild
US7636496B2 (en) * 2006-05-17 2009-12-22 Xerox Corporation Histogram adjustment for high dynamic range image mapping
JP2008059081A (ja) 2006-08-29 2008-03-13 Sony Corp 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JP2011005050A (ja) 2009-06-26 2011-01-13 Canon Inc 画像処理方法及び画像処理装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1013854A (ja) * 1996-06-18 1998-01-16 Mitsubishi Electric Corp 映像強調装置
JP2009140513A (ja) * 2002-07-16 2009-06-25 Nec Corp パターン特徴抽出方法及びその装置
JP2004159087A (ja) * 2002-11-06 2004-06-03 Olympus Corp スキャナシステム、画像処理プログラム
JP2004166007A (ja) * 2002-11-13 2004-06-10 Fuji Xerox Co Ltd 画像処理装置及び画像処理方法、画像処理プログラム、記憶媒体
JP2005039802A (ja) * 2003-06-23 2005-02-10 Fuji Xerox Co Ltd 画像処理装置および画像処理方法、画像処理プログラム、記憶媒体
JP2011003201A (ja) * 2003-09-26 2011-01-06 Fujifilm Corp 画像処理方法および装置並びにプログラム
JP2006155572A (ja) * 2004-11-04 2006-06-15 Sharp Corp 画像処理装置、画像形成装置、画像処理方法、及びコンピュータプログラム
JP2007104706A (ja) * 2006-11-24 2007-04-19 Riso Kagaku Corp 画像処理装置及び画像処理方法
JP2008263288A (ja) * 2007-04-10 2008-10-30 Fuji Xerox Co Ltd 画像処理システム及び画像処理プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013168779A (ja) * 2012-02-15 2013-08-29 Hitachi-Ge Nuclear Energy Ltd 検査方法および検査装置
WO2017013895A1 (ja) * 2015-07-22 2017-01-26 コニカミノルタ株式会社 コンソール及び動態画像撮影診断システム
JPWO2017013895A1 (ja) * 2015-07-22 2018-04-26 コニカミノルタ株式会社 コンソール及び動態画像撮影診断システム
JP2020168352A (ja) * 2019-04-01 2020-10-15 キヤノンメディカルシステムズ株式会社 医用装置及びプログラム
JP7433883B2 (ja) 2019-04-01 2024-02-20 キヤノンメディカルシステムズ株式会社 医用装置及びプログラム
JP7076168B1 (ja) 2019-05-05 2022-05-27 湖南省華芯医療器械有限公司 リアルタイム映像における画像の物体輪郭を強調する方法
JP2022527868A (ja) * 2019-05-05 2022-06-06 湖南省華芯医療器械有限公司 リアルタイム映像における画像の物体輪郭を強調する方法

Also Published As

Publication number Publication date
CN102743181A (zh) 2012-10-24
CN105335945B (zh) 2018-07-03
US20120230541A1 (en) 2012-09-13
KR101493375B1 (ko) 2015-02-13
US8983122B2 (en) 2015-03-17
CN102743181B (zh) 2016-01-20
JP5828649B2 (ja) 2015-12-09
CN105335945A (zh) 2016-02-17
EP2498219A1 (en) 2012-09-12
KR20120103456A (ko) 2012-09-19

Similar Documents

Publication Publication Date Title
JP5828649B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP5610761B2 (ja) X線画像処理装置、x線画像処理システム、x線画像処理方法、及びコンピュータプログラム
JP5645399B2 (ja) X線画像処理装置、x線画像処理方法、及びコンピュータプログラム
JP6071145B2 (ja) 放射線画像解析装置および方法並びにプログラム
CN112770838A (zh) 使用自关注深度学习进行图像增强的系统和方法
KR20160049897A (ko) 연속적인 의료 영상을 이용한 컴퓨터 보조 진단 장치 및 방법
JP6071444B2 (ja) 画像処理装置及びその作動方法、プログラム
JP5839710B2 (ja) 解析点設定装置および方法、並びに体動検出装置および方法
JP6492553B2 (ja) 画像処理装置及びプログラム
US11176638B2 (en) Image processing apparatus, image processing method and program
EP3554369A1 (en) System and method for dark-field-imaging
JP4416823B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
CN107106114A (zh) 运算装置、x射线ct装置及图像重构方法
JP2017074452A (ja) 放射線画像解析装置および方法並びにプログラム
JP6120913B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
Dovganich et al. Automatic quality control in lung X-ray imaging with deep learning
US20220414832A1 (en) X-ray imaging restoration using deep learning algorithms
JP5051025B2 (ja) 画像生成装置、プログラム、および画像生成方法
JP2005020337A (ja) 画像処理方法および装置並びにプログラム
JP2017000675A (ja) 医用画像処理装置及びx線撮像装置
JP2011030753A (ja) 画像処理装置及び画像処理方法
JP6586678B2 (ja) 画像処理装置及びx線診断装置
JP2022090165A (ja) 画像処理装置、画像処理方法及びプログラム
JP2023080703A (ja) 医用画像処理装置、方法及びプログラム
JP2019208927A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150105

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150414

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150709

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150721

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151020

R151 Written notification of patent or utility model registration

Ref document number: 5828649

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees