JP2015118677A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP2015118677A
JP2015118677A JP2013263635A JP2013263635A JP2015118677A JP 2015118677 A JP2015118677 A JP 2015118677A JP 2013263635 A JP2013263635 A JP 2013263635A JP 2013263635 A JP2013263635 A JP 2013263635A JP 2015118677 A JP2015118677 A JP 2015118677A
Authority
JP
Japan
Prior art keywords
template
image
processing target
original
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013263635A
Other languages
English (en)
Other versions
JP6292863B2 (ja
Inventor
陽士 山口
Yoji Yamaguchi
陽士 山口
拡樹 谷口
Hiroki Taniguchi
拡樹 谷口
白旗 崇
Takashi Shirohata
崇 白旗
詩乃 田中
Shino Tanaka
詩乃 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Healthcare Manufacturing Ltd
Original Assignee
Hitachi Medical Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Medical Corp filed Critical Hitachi Medical Corp
Priority to JP2013263635A priority Critical patent/JP6292863B2/ja
Publication of JP2015118677A publication Critical patent/JP2015118677A/ja
Application granted granted Critical
Publication of JP6292863B2 publication Critical patent/JP6292863B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

【課題】予め定義されているテンプレートに含まれる画像処理パラメータ群の調整を容易かつ短時間に行うことが可能な画像処理装置及び画像処理方法を提供する。
【解決手段】画像処理装置100は、処理対象画像の特徴量と選択されたテンプレートを適用した元画像の特徴量との差に基づいてテンプレートに含まれる各パラメータの値を調整する。例えば、元画像と元画像に近似する第1モデル画像とのランドマークの特徴量の差に基づいて選択テンプレートに含まれるパラメータ値を第1モデル画像用に変換する。次に予め算出されているモデル間テンプレート変換データを用いて第1モデル画像用に調整されたパラメータ値を処理対象画像に近似する第2モデル画像用に変換する。更に、第2モデル画像と処理対象画像との特徴量差に基づいて第2モデル画像用に調整されたパラメータ値を処理対象画像用に変換する。
【選択図】図1

Description

本発明は、画像処理装置及び画像処理方法に係り、詳細には、画像処理条件(テンプレート)の調整に関する。
従来より、X線CT(Computed Tomography)装置、X線診断装置、超音波診断装置、MRI(Magnetic Resonance Imaging)装置等の医用画像撮影装置では、疾患や検査目的、或いは患者の画像撮影時の状態等に応じて様々な撮影条件で撮影が行われる。また、医用画像撮影装置により生成された医用画像は、臓器の位置関係や向き、角度、画像濃度、または表示範囲等が画像処理装置を用いて調整され、診断に適した画像(解析結果画像)となるように画像処理される。画像処理装置では、ある患者の画像に対して適用した画像処理条件をテンプレートとして保存しておき、別の患者の画像に同じテンプレートを適用することで、画像処理の作業手順を簡略化しつつ、共通の解析結果画像を得るといった機能が提供されている。
例えば、特許文献1には、画像収集及び表示に関する準備から終了までの一連の作業手順を表すワークフローチャートをグラフィックプロセッサで作成し、表示することで、画像処理作業の支援を行う医用画像診断装置等について記載されている。特許文献1に記載される医用画像診断装置等を使用することで、熟練していない者でも画像処理に必要な作業をある程度手順通りに進めることができる。
特開2001−000397号公報
しかしながら、画像処理の元となる医用画像は、撮影時の体軸方向の撮影範囲やFOV(Field Of View)の違い、患者の個人差等によってそれぞれに差異があるため、ある個人の画像に適用したテンプレートをそのまま別の患者の画像に適用しても、全く同様の解析結果画像を得ることは困難であった。特に、体格が大きく異なる等、元の画像の差が大きい場合には、テンプレートの調整作業に多く手間や時間がかかっていた。
本発明は、以上の問題点に鑑みてなされたものであり、予め定義されているテンプレートに含まれる画像処理パラメータ群の調整を容易かつ短時間に行うことが可能な画像処理装置及び画像処理方法を提供することを目的とする。
前述した目的を達成するために第1の発明は、画像処理のテンプレートと、テンプレートを適用した元画像の情報と、テンプレートで使用する特徴量情報とを関連付けて保持するテンプレートテーブルを記憶する記憶部と、処理対象画像に対して適用する前記テンプレートを選択するテンプレート選択部と、前記処理対象画像の特徴量を抽出する特徴量抽出部と、前記特徴量抽出部により抽出された処理対象画像の特徴量と、前記テンプレート選択部により選択されたテンプレートを適用した前記元画像の特徴量との差に基づいて、前記テンプレートに含まれる各パラメータの値を変換するテンプレート変換部と、前記テンプレート変換部により変換されたパラメータの値を前記処理対象画像に対して適用することにより画像処理を実行する画像処理部と、を備えることを特徴とする画像処理装置である。
第2の発明は、画像処理のテンプレートと、テンプレートを適用した元画像の情報と、テンプレートで使用する特徴量情報とを関連付けて保持するテンプレートテーブルを記憶する記憶部と、処理対象画像に対して適用する前記テンプレートを選択するテンプレート選択部と、前記テンプレート選択部により選択されたテンプレートを適用した元画像を前記テンプレートテーブルから複数取得する元画像取得部と、前記元画像取得部により取得した複数の元画像を合成し、処理対象画像に近似する合成画像を生成する合成画像生成部と、前記合成画像生成部により生成された合成画像における前記元画像の合成比率に基づいて前記テンプレートに含まれる各パラメータ値の調整を行うテンプレート変換部と、前記テンプレート変換部により変換されたパラメータの値を前記処理対象画像に対して適用することにより画像処理を実行する画像処理部と、を備えることを特徴とする画像処理装置である。
第3の発明は、コンピュータが、画像処理のテンプレートと、テンプレートを適用した元画像の情報と、テンプレートで使用する特徴量情報とを関連付けて記憶するステップと、処理対象画像に対して適用する前記テンプレートを選択するステップと、前記処理対象画像の特徴量を抽出するステップと、抽出された前記処理対象画像の特徴量と、選択されたテンプレートを適用した前記元画像の特徴量との差に基づいて、前記テンプレートに含まれる各パラメータの値を変換するステップと、変換されたパラメータの値を前記処理対象画像に対して適用することにより画像処理を実行するステップと、を含むことを特徴とする画像処理方法である。
第4の発明は、コンピュータが、画像処理のテンプレートと、テンプレートを適用した元画像の情報と、テンプレートで使用する特徴量情報とを関連付けて記憶部に記憶するステップと、処理対象画像に対して適用する前記テンプレートを選択するステップと、選択されたテンプレートを適用した元画像を前記記憶部から複数取得するステップと、取得した複数の元画像を合成し、処理対象画像に近似する合成画像を生成するステップと、前記合成画像における前記元画像の合成比率に基づいて前記テンプレートに含まれる各パラメータの値を変換するステップと、変換されたパラメータの値を前記処理対象画像に対して適用することにより画像処理を実行するステップと、を含むことを特徴とする画像処理方法である。
本発明の画像処理装置及び画像処理方法により、テンプレートを適用した画像と処理対象となる画像との差を考慮して、予め定義されている画像処理テンプレートのパラメータ値を調整し、容易かつ短時間に所望の解析画像を得ることが可能となる。
画像処理装置100の全体構成を示す図 画像処理装置100の機能構成及び記憶部103が保持するデータを示す図 パラメータテーブル31の一例を示す図 テンプレートテーブル32の一例を示す図 ランドマークテーブル33の一例を示す図 テンプレート調整データ34の一例を示す図 モデル間テンプレート変換データ35の一例を示す図 モデルを介するパラメータ値の調整について説明する図 医用画像処理装置100が実行する解析画像生成処理の全体の流れを説明するフローチャート 第1の実施形態におけるテンプレート変換処理の流れを説明するフローチャート 第2の実施形態におけるテンプレートテーブル32aの一例を示す図 第2の実施形態におけるテンプレート変換処理の流れを説明するフローチャート 複数画像の特徴量差に基づくパラメータ値の調整について説明する図 第3の実施形態におけるテンプレート変換処理の流れを説明するフローチャート 合成画像の合成比率に基づくパラメータ値を調整について説明する図
以下図面に基づいて、本発明の実施形態を詳細に説明する。
[第1の実施の形態]
まず、図1を参照して、本発明の画像処理装置100を適用した画像処理システム1の構成について説明する。
図1に示すように、画像処理システム1は、表示装置107、入力装置109を有する画像処理装置100と、画像処理装置100にネットワーク110を介して接続される画像データベース111と、画像撮影装置112とを備える。
本発明に係る画像処理装置100は、画像生成、画像解析等の処理を行うコンピュータである。画像処理装置100は、図1に示すように、CPU101(Central Processing Unit)101、主メモリ102、記憶装置103、通信インタフェース(通信I/F)104、表示メモリ105、マウス108等の外部機器とのインタフェース(I/F)106を備え、各部はバス113を介して接続されている。
CPU101は、主メモリ102または記憶装置103等に格納されるプログラムを主メモリ102のRAM上のワークメモリ領域に呼び出して実行し、バス113を介して接続された各部を駆動制御し、画像処理装置100が行う各種処理を実現する。
またCPU101は、ある個人用に任意のタイミングで作成されたテンプレートに定義された画像処理条件を別の処理対象画像に適用し、解析画像を生成する解析画像生成処理(図9、図10参照)を実行する。解析画像生成処理の詳細については後述する。
主メモリ102は、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成される。ROMはコンピュータのブートプログラムやBIOS等のプログラム、データ等を恒久的に保持している。また、RAMは、ROM、記憶装置103等からロードしたプログラム、データ等を一時的に保持するとともに、CPU101が各種処理を行う為に使用するワークエリアを備える。
記憶装置103は、HDD(ハードディスクドライブ)や他の記録媒体へのデータの読み書きを行う記憶装置であり、CPU101が実行するプログラム、プログラム実行に必要なデータ、OS(オペレーティングシステム)等が格納される。プログラムに関しては、OSに相当する制御プログラムや、アプリケーションプログラムが格納されている。これらの各プログラムコードは、CPU101により必要に応じて読み出されて主メモリ102のRAMに移され、各種の処理実行部として実行される。
通信I/F104は、通信制御装置、通信ポート等を有し、画像処理装置100とネットワーク110との通信を媒介する。また通信I/F104は、ネットワーク110を介して、画像データベース111や、他のコンピュータ、或いは、X線CT装置、MRI装置等の画像撮影装置112との通信制御を行う。
I/F106は、周辺機器を接続させるためのポートであり、周辺機器とのデータの送受信を行う。例えば、マウス108やスタイラスペン等のポインティングデバイスをI/F106を介して接続させるようにしてもよい。
表示メモリ105は、CPU101から入力される表示データを一時的に蓄積するバッファである。蓄積された表示データは所定のタイミングで表示装置107に出力される。
表示装置107は、液晶パネル、CRTモニタ等のディスプレイ装置と、ディスプレイ装置と連携して表示処理を実行するための論理回路で構成され、表示メモリ105を介してCPU101に接続される。表示装置107はCPU101の制御により表示メモリ105に蓄積された表示データを表示する。
入力装置109は、例えば、キーボード等の入力装置であり、操作者によって入力される各種の指示や情報をCPU101に出力する。操作者は、表示装置107、入力装置109、及びマウス108等の外部機器を使用して対話的に画像処理装置100を操作する。
ネットワーク110は、LAN(Local Area Network)、WAN(Wide Area Network)、イントラネット、インターネット等の各種通信網を含み、画像データベース111やサーバ、他の情報機器等と画像処理装置100との通信接続を媒介する。
画像データベース111は、医用画像撮影装置112によって撮影された画像データを蓄積して記憶するものである。図1に示す画像処理システム1では、画像データベース111はネットワーク110を介して画像処理装置100に接続される構成であるが、画像処理装置100内の例えば記憶装置103に画像データベース111を設けるようにしてもよい。
次に、図2を参照して、本発明に係る画像処理装置100の機能構成及びデータ構成について説明する。
図2に示すように、画像処理装置100のCPU101は、画像取得部21、テンプレート選択部22、特徴量抽出部23、テンプレート変換部24、及び画像処理部25を備える。また、記憶装置103には、パラメータテーブル31、テンプレートテーブル32、ランドマークテーブル33、テンプレート調整データ34、及びモデル間テンプレート変換データ35等が記憶されている。
画像取得部21は、記憶装置103から処理対象とする画像(以下、処理対象画像と呼ぶ)を読出し、RAM(主メモリ102)に保持する。
テンプレート選択部22は、処理対象画像に対して適用するテンプレートを選択する。
テンプレートとは、画像処理において使用されるパラメータ群及びそれらのパラメータ値を定義したものである。図3は、各テンプレートに含まれるパラメータ群を定義するパラメータテーブル31の例を示す。図3に示すように、パラメータテーブル31には、各テンプレートT、T、…についてそれぞれ画像処理のパラメータP1、P2やP1、P2やその値(パラメータ値)が格納される。画像処理パラメータとは、例えば、画像の拡大や回転、濃度値等といった各種の画像処理項目である。
テンプレート選択部22は、例えば図4に示すテンプレートテーブル32のように、過去に操作者により作成され記憶装置103に記憶された複数のテンプレートの中から処理対象画像に対して適用するテンプレートを選択する。テンプレート選択部22による画像処理テンプレートの選択は、例えば、入力装置109を介してユーザの操作により行われる。
図4に、テンプレートテーブル32の一例を示す。テンプレートテーブル32には、画像処理のテンプレートと、各テンプレートについての関連情報が格納される。関連情報には、テンプレートを適用した画像(以下、元画像という)と、テンプレートを適用する際に参照するランドマーク情報(特徴量情報)とが含まれる。例えば、図4の例では、テンプレートTには元画像IMGとランドマーク情報Lとが関連付けて記憶される。これは、元画像IMGに対してテンプレートTを適用した際にランドマーク情報Lに基づいて画像処理が行われたことを示す。同様に、テンプレートTには元画像IMGとランドマーク情報Lとが関連付けて記憶され、テンプレートTには元画像IMGとランドマーク情報Lとが関連付けて記憶され、テンプレートTには元画像IMGとランドマーク情報Lとが関連付けて記憶される。
ランドマーク情報L,L,L,…とは、画像の特徴量を表すデータ群である。各ランドマーク情報L,L,L,…には、画像に含まれる代表的な部位(骨や臓器等)について夫々どのような量を特徴量m1,m2,…とするかが定義され、図5に示すランドマークテーブル33のように記憶装置103に記憶される。特徴量m1,m2,…の例としては、臓器の向きやサイズに関する量(断面積、周囲長、体積、形状、領域の短径、長径、重心等)や濃度値等がある。図5に示す例では、ランドマーク情報Lxには、特徴量m1、m2が含まれる。また例えば、ランドマーク情報Lには、特徴量m1、m3が含まれる。
特徴量抽出部23は、処理対象画像からテンプレートで使用する特徴量を抽出する。画像処理テンプレートでどの特徴量を使用するかは、ランドマーク情報としてテンプレートテーブル32(図4参照)に定められている。また、各ランドマーク情報に含まれる特徴量がどの量であるかは、ランドマークテーブル33(図5参照)に定義される。
テンプレート変換部24は、特徴量抽出部23により抽出された処理対象画像の特徴量と、テンプレート選択部22により選択されたテンプレートを適用した元画像の特徴量との差に基づいて、テンプレートに含まれる各パラメータの値を調整する。
第1の実施の形態においてテンプレート変換部24は、予め定義されているモデル画像を介してテンプレートの変換を行う。すなわち、テンプレート変換部24は、元画像と元画像に近似する第1モデル画像を特定する。また、テンプレート変換部24は、処理対象画像と処理対象画像に近似する第2モデル画像を特定する。そしてまず、元画像と第1モデル画像とのランドマークの特徴量の差に基づいてテンプレート選択部23により選択されたテンプレートに含まれるパラメータ値を第1モデル画像用に変換する。元画像と第1モデル画像間のテンプレート変換に使用する変換関数は、図6に示すテンプレート調整データ33として記憶装置103に記憶されている。
モデル画像とは、統計的に作成され、骨格や臓器が解剖学的に理想的な配置となっている画像データである。例えば、幼児、子供、成人男性、成人女性等のように年齢、性別、体型毎等に分類される。
図6に示す変換関数F(a)、F(a)、F(a)、F(a)は、元画像と元画像に最も近似するモデル画像ModelA,ModelB,ModelC,ModelXとの間でランドマーク情報(特徴量)を一致させるための関数である。具体的には、変換関数は元画像とモデル画像とのランドマークの特徴量の差に基づいて、テンプレートに含まれる各パラメータ値(拡大、縮小、回転、濃度値等)を調整するためのデータ群である。
第1モデル画像用にテンプレートのパラメータ値が調整されると、次にテンプレート変換部24は、第1モデル画像用に調整されたパラメータ値を処理対象画像に近似する第2モデル画像用に変換する。第1モデル画像と第2モデル画像間のパラメータ変換に使用する変換関数は、図7に示すモデル間テンプレート変換データ35として記憶装置103に記憶されている。
モデル間テンプレート変換データ35は、あるモデル画像と別のモデル画像との間でランドマーク情報(特徴量)を一致させるための変換関数である。モデル間テンプレート変換データ35の各変換関数は、モデル間の特徴量の差に基づいて予め算出され、記憶される。
なお、図6及び図7に示す変換関数F(a)の変数aは、パラメータの種類を表す。調整すべきパラメータが複数ある場合は、パラメータ毎に複数の変換関数がテンプレート調整データ34(図6)或いはモデル間テンプレート変換データ35(図7)として格納される。以下の説明では、1つの変換関数F(a)を用いてテンプレートに含まれる1つのパラメータを調整するものとするが、複数のパラメータを調整するための各変換関数がそれぞれ定義されているものとしてもよい。また、複数のパラメータを1つの変換関数で総合的に調整可能な場合は、複数のパラメータを変数とする変換関数として表してもよい。
テンプレート変換部24は、第2モデル画像用に変換されたパラメータ値を第2モデル画像と処理対象画像との特徴量の差に基づいて処理対象画像用に変換する。
なお、テンプレート変換部24におけるモデルの特定を高速化するために、モデル画像は、患者の属性やモデル画像の持つ特徴量に基づいて階層化して保存されていることが望ましい。
例えば、モデル画像は医療情報(検査情報:性別・年齢・体型等)に基づいて階層化されることが望ましい。医療情報に基づいて階層化することで、処理対象画像の撮影前に登録された医療情報から、ある程度、処理対象画像に近似するモデル画像に絞り込むことが可能となる。ある程度絞り込んだモデル画像から相関率や類似度を求め、最も近似するモデル画像を特定することで最も近似するモデルを特定する処理を高速化できる。
また、モデル画像の部位(ランドマーク)の特徴量に基づいてモデル画像を階層化してもよい。モデル画像を作成する際、特徴量(断面積、周囲長、体積、形状、領域の短径・長径、重心等)の値から、部位毎にモデル画像をグルーピングしておく。例えば、断面積Sについて、小:1≦S<9、中:10≦S<19、大:S>20等のようにグルーピングする。テンプレート変換部24は、元画像や処理対象画像から抽出した各種の特徴量が、最も多く共通グループに属しているモデル画像を近似するモデル画像として特定すればよい。
このように、本実施形態の画像処理装置100は、過去に使用した変換関数(テンプレート調整データ34)や、予め求められているモデル間のテンプレート変換データ35を用いて、テンプレートを処理対象画像に適用できるように変換する。これにより、体格や年齢や性別等が全く異なる患者の画像に適用したテンプレートを用いる場合にも、テンプレートの変換に要する時間を短縮できる。ユーザによって作成され、保存されたテンプレートを分類が全く異なる画像に適用することは困難を極めるが、予め作成された理想的なモデル画像を介することにより高速にテンプレート変換を行える。このため、高速に解析画像を得ることが可能となる。
図8は、画像の特徴量とパラメータ値との関係について説明する図である。
元画像IMGに適用した既知のテンプレートTに含まれるパラメータPを、処理対象画像IMG用に調整する場合、テンプレート変換部24は、まず、元画像IMGに近似するモデル画像ModelXを特定する。そして、モデル画像ModelXの特徴量と元画像IMGの特徴量との差に基づいてテンプレートT内のパラメータ値PをPαに変換する。これを全てのパラメータについて行い、テンプレートTを第1モデル画像用テンプレートTαに変換する。この変換には、図6に示すテンプレート調整データ34の変換関数F(a)が使用される。
次にテンプレート変換部24は、処理対象画像IMGに近似するモデル画像ModelZを特定し、モデル画像ModelZの特徴量とモデル画像ModelXの特徴量との差に基づいてテンプレートTα内のパラメータ値PαをPβに変換する。これを全てのパラメータについて行い、テンプレートTαを第2モデル画像用のテンプレートTβに変換する。この変換には、図7に示すモデル間テンプレート変換データ35の変換関数FX→Z(a)が使用される。
更にテンプレート変換部24は、モデル画像ModelZの特徴量と処理対象画像IMGの特徴量との差に基づいて、テンプレートTβ内のパラメータ値PM2をPに変換する。これを全てのパラメータについて行い、テンプレートTβを処理対象画像用のテンプレートTzに変換する。この変換には、図6に示すテンプレート調整データ34に記憶されている第2モデル画像ModelZに関する変換関数F(a)の逆関数F(a)−1が使用される。
画像処理部25は、テンプレート変換部24により変換されたテンプレートを処理対象画像に対して適用し、画像処理を実行する。これにより、過去に他の画像に対して適用されたテンプレートに含まれる各パラメータを処理対象画像用に調整したテンプレートを使用して処理対象画像の画像処理を行い、解析画像を生成できる。
次に、画像処理装置100の動作を説明する。
画像処理装置100のCPU101は、主メモリ102から図9、図10に示す解析画像生成処理に関するプログラム及びデータを読み出し、このプログラム及びデータに基づいて処理を実行する。
なお、図9に示す解析画像生成処理の実行開始に際して、処理対象とする画像データは画像データベース111等からネットワーク110及び通信I/F104を介して取り込まれ、画像処理装置100の記憶装置103に記憶されているものとする。
まず、画像処理装置100のCPU101は、処理対象画像を取得する(ステップS101)。次に、CPU101は、処理対象画像に対して適用するテンプレートの選択を受け付ける(ステップS102)。ステップS102において、CPU101は、選択可能なテンプレートを記憶装置103から読出し、表示装置107に一覧表示し、入力装置109からユーザの操作による選択を受け付けてもよい。ステップS102においてテンプレートが選択されると、CPU101は処理対象画像の特徴量を抽出する(ステップS103)。
ステップS103において、処理対象画像からどの特徴量を抽出するかは、ステップS102で選択したテンプレートによって異なる。CPU101は、記憶装置103に記憶されているテンプレートテーブル32を参照し、選択テンプレートで使用するランドマーク情報を取得する。またCPU101は、記憶装置103に記憶されているランドマークテーブル33を参照し、取得したランドマーク情報でどの特徴量を抽出するかを取得する。CPU101は、処理対象画像からランドマーク情報で定義されている各特徴量を抽出する。
次に、CPU101は、テンプレート変換処理を実行する(ステップS104)。ステップS104のテンプレート変換処理において、CPU101は、ステップS102で選択されたテンプレートTを、処理対象画像IMGに適用できるようにテンプレートTに含まれるパラメータの値を変換する。
ステップS104のテンプレート変換処理の詳細について図10のフローチャートを参照して説明する。
テンプレート変換処理において、まずCPU101は、ステップS102で選択されたテンプレートTを適用した元画像IMGを元画像IMGに近似するモデル画像ModelX(第1モデル画像)との特徴量の差に基づいてテンプレートTに含まれるパラメータ値を調整する(ステップS201)。
ステップS201の処理では、CPU101は、テンプレートテーブル32からステップS102で選択されたテンプレートTに関する関連情報を取得する。そして、テンプレート調整データ33(図6参照)からテンプレートTを適用した元画像IMGと第1モデル画像IMGのランドマーク情報(特徴量)を一致させるための変換関数F(a)を取得する。そして、取得した変換関数F(a)を使用して、元画像IMGに適用したテンプレートTを第1モデル画像IMG用のテンプレートTαへ変換する。
次に、CPU101は、処理対象画像IMGZに近似する第2モデル画像ModelZを特定する(ステップS202)。
CPU101は、ステップS201で変換された第1モデル画像用のテンプレートTαを第2モデル画像ModelZ用に変換する(ステップS203)。具体的には、CPU101は、モデル間テンプレート変換データ34(図7参照)から第1モデル画像ModelXと第2モデル画像ModelZとの間のモデル間テンプレート変換関数FX→Z(a)を取得し、モデル間テンプレート変換関数FX→Z(a)を使用して、第1モデル画像用のテンプレートTαを第2モデル画像ModelZ用のテンプレートTβに変換する。
CPU101は、処理対象画像IMGと処理対象画像IMGに近似する第2モデル画像ModelZとの特徴量の差に基づいて、第2モデル画像用のテンプレートTβに含まれるパラメータ値を処理対象画像IMGに適したものに変換するためのテンプレートTを求める(ステップS204)。ステップS204の処理において、CPU101は、テンプレート調整データ34から第2モデル画像ModelZに関連付けられている変換関数F(a)を取得し、F(a)の逆関数を適用することで、モデル画像ModelZから処理対象画像IMGZへのパラメータの調整値を推測する。CPU101は、調整後のテンプレートを新たなテンプレートTとして、元画像IMGやランドマーク情報(特徴量)と関連付けてテンプレートテーブル32に記憶する。
以上のようにしてテンプレート変換処理が行われ、処理対象画像IMG用のテンプレートTが求められると、CPU101は求めたテンプレートTを用いて処理対象画像IMGの画像処理を行う(ステップS105)。そして、画像処理により求められた画像を記憶装置103に記憶するとともに、表示装置107に表示して(ステップS106)、一連の画像処理を終了する。
本第1の実施の形態のテンプレート変換処理は、理想的な基準画像に基づいて予め作成されたテンプレートを調整するのではなく、ある患者の画像について任意のタイミングでユーザによって作成され保存されたテンプレートを別の画像に対して適用する場合に好適である。元の画像との差が大きい画像に対して同じテンプレートを適用する際に、パラメータ値を調整するのは困難を極めるが、元の画像に近似するモデルと、処理対象画像に近似するモデルとを介してパラメータ値を調整すれば、既知の変換関数を使用できるため、より小さい調整量でテンプレートを変換できる。モデル間のテンプレート変換に必要なデータは予め作成して記憶装置103に保存しておくことができるため、テンプレート変換に要する処理時間を短縮できる。
[第2の実施の形態]
次に、図11〜図13を参照して、本発明に係る画像処理装置100の第2の実施の形態について説明する。なお、以下の説明において、第1の実施の形態と同一の構成及び動作については説明を省略し、第1の実施の形態と同一の符号を付して説明する。
第2の実施の形態において、画像処理装置100は、テンプレート変換処理において、モデル情報を使用せずにテンプレート内のパラメータ値を調整する。
図11は、第2の実施の形態の画像処理装置100が保持するテンプレートテーブル32aの例である。
第2の実施の形態のテンプレートテーブル32aは、各画像処理テンプレートについての関連情報として、テンプレートを適用した元画像と、テンプレートを適用した際に参照したランドマーク情報と、テンプレート変換部24により変換または調整された調整後パラメータ値が元画像に関連付けて格納される。
例えば、図11の例では、テンプレートTには、関連情報として元画像IMGとランドマーク情報Lとともに、調整後パラメータ値Paが関連付けて記憶される。また、同じテンプレートTには、別の関連情報として元画像IMGとランドマーク情報Lとともに、調整後パラメータ値Pbが関連付けて記憶される。
第2の実施形態におけるテンプレート変換処理について、図12を参照して説明する。
CPU101は、まず、図9のステップS102で選択されたテンプレートTを適用した元画像を検索する(ステップS301)。例えば、テンプレートTを適用した元画像として、IMG,IMG,IMGが検索されるものとする。なお、テンプレートTに含まれるパラメータ値Pxは各元画像IMG,IMG,IMGの特徴量に応じてそれぞれ調整され、実際には変換後パラメータ値Pa,Pb,Pcが適用されているものとする。
CPU101は検索した複数の元画像IMG,IMG,IMGのランドマーク情報の特徴量をテンプレートテーブル32a(図11参照)から取得する(ステップS302)。更にCPU101は、処理対象画像IMGから抽出したランドマーク情報の特徴量と、ステップS302で検索した複数の元画像IMG,IMG,IMGのランドマーク情報の特徴量との差分を求める(ステップS303)。
CPU101は、処理対象画像IMGと検索した複数の元画像IMG,IMG,IMGのランドマーク情報との差分の大きさに基づいて、検索した元画像IMG,IMG,IMGに適用した各パラメータ値Pa,Pb,Pcにかける重み係数を求める(ステップS304)。
ステップS304において、元画像IMG,IMG,IMGの各特徴量m,m,mと処理対象画像IMGの特徴量mとの差S,S,Sが、S<S<Sの関係である場合は、各画像に適用した変換後パラメータ値Pa,Pb,Pcにかける重み係数W1,W2,W3は、W1>W2>W3の関係とする。
CPU101は、各元画像IMG,IMG,IMGに適用した各調整後パラメータ値Pa,Pb,Pcをテンプレートテーブル32aから取得し(ステップS305)、ステップS304で算出した重み係数W1,W2,W3を調整後パラメータ値Pa,Pb,Pcに加重加算(W1・Pa+W2・Pb+W3・Pc)することで処理対象画像IMGに適用するパラメータ値Pzを算出する(ステップS306)。
CPU101は、ステップS305〜ステップS306の処理をテンプレート内の各パラメータについてそれぞれ実行し、テンプレートTを処理対象画像IMG用のテンプレートTに変換する。
図13に、重み係数と画像の特徴量の差との関係について示す。
処理対象画像IMGと元画像IMGとの特徴量の差がS、処理対象画像IMGと元画像IMGとの特徴量の差がS、処理対象画像IMGと元画像IMGとの特徴量の差がSの場合、各元画像に適用したパラメータ値Pa,Pb,Pcに対してW1>W2>W3の関係を有する重み係数W1,W2,W3をそれぞれ加重加算する。これにより処理対象画像IMGに適用するパラメータ値Pzを算出する。
以上説明したように、第2の実施の形態のテンプレート変換処理においてCPU101は、同じテンプレートを適用した複数の元画像の特徴量と処理対象画像の特徴量との差に基づいてテンプレートに含まれるパラメータに乗ずる重み係数を算出する。そして、算出した重み係数を各元画像に適用された調整後パラメータ値を加重加算することで、処理対象画像IMGに適用するパラメータ値Pzを求める。
これにより、モデルを持たない簡易な構成で、個人差を考慮したテンプレート変換を行える。複数の画像との特徴量の差の大きさに基づいて処理対象画像に適用するパラメータ値を調整するため、解析画像の精度を向上できる。
[第3の実施の形態]
次に、図14〜図15を参照して、本発明に係る画像処理装置100の第3の実施の形態について説明する。
第3の実施形態の画像処理装置100は、テンプレート変換処理において、モデル情報を使用せずにテンプレートを変換する。画像処理装置100は、同じテンプレートを適用した複数の元画像を検索し、これらの複数の元画像を合成して処理対象画像IMGに近似する合成画像を生成する。この合成画像における元画像の合成比率に基づいて、テンプレートに含まれるパラメータ値を調整し、処理対象画像に適用する。
第3の実施の形態において、画像処理装置100は第2の実施の形態におけるテンプレートテーブル32aと同様のテンプレートテーブル32aを保持する(図11参照)。
すなわち、第3の実施の形態において画像処理装置100は、各画像処理テンプレートについての関連情報として、テンプレートを適用した元画像と、テンプレートを適用した際に参照したランドマーク情報と、テンプレート変換部24により変換または調整された調整後パラメータ値が元画像に関連付けて格納されたテンプレートテーブル32aを有する。
第3の実施形態におけるテンプレート変換処理について、図14を参照して説明する。
CPU101は、まず、図9のステップS102で選択したテンプレートTを適用した元画像を検索し、検索した元画像の画像データを取得する(ステップS401)。例えば、テンプレートTを適用した元画像IMG,IMG,IMGが検索された場合は、これらの各元画像IMG,IMG,IMGの画像データを記憶装置103から取得する。
CPU101はステップS401で取得した複数の元画像IMG,IMG,IMGの合成画像を生成する(ステップS402)。ステップS402においてCPU101は、合成の比率を様々に変えて、合成比率が異なる複数の合成画像を生成する。
次にCPU101は、合成比率が異なる複数の合成画像の中から処理対象画像IMGと最も近似する合成画像を特定する(ステップS403)。ステップS403における最も近似する画像の特定は、CPU101の演算処理により行われてもよいし、ステップS402で作成された複数の合成画像の中から操作者が入力装置109を介して選択するようにしてもよい。演算処理により行う場合は、例えば、複数の合成画像と処理対象画像との差分をとり、差分が最も小さいものを選択すればよい。
次に、CPU101は、元画像IMG,IMG,IMGに適用した調整後パラメータ値Pa,Pb,Pcをテンプレートテーブル32aから取得し(ステップS404)、ステップS403で特定した合成画像における元画像IMG,IMG,IMGの合成比率で各調整後パラメータ値Pa,Pb,Pcを加重加算する。例えば、処理対象画像IMGに最も近似する合成画像における元画像IMG,IMG,IMGの合成比率がWa:Wb:Wcの場合、この合成比率を重み係数とする。そして、元画像IMG,IMG,IMGに適用した各調整後パラメータ値Pa,Pb,Pcにそれぞれ重み係数Wa、Wb、Wcを乗じ、加算する。これにより、処理対象画像IMGに適用するパラメータ値Pzを算出する(ステップS405)。
CPU101は、ステップS404〜ステップS405の処理をテンプレート内の各パラメータについてそれぞれ実行し、テンプレートTを処理対象画像IMG用のテンプレートTに変換する。
図15に、元画像の合成比率による重み係数の算出について示す。
選択テンプレートTを適用した元画像IMG、IMG、IMGが検索された場合、CPU101はこれらの元画像IMG、IMG、IMGを様々な合成比率(合成比率A,合成比率B,…)で合成し、合成画像5A,5B、…を作成する。そして、これらの合成画像5A,5B、…の中から処理対象画像IMGと最も近似する合成画像を特定する。例えば、合成比率Bで合成された合成画像5Bが処理対象画像IMGと最も近似する場合、その合成画像5Bの合成比率B(Wa:Wb:Wc)を各パラメータ値Pa、Pb、Pcに掛ける重み係数とする。CPU101は、各元画像に適用したパラメータ値Pa,Pb,Pcに対して重み係数Wa,Wb,Wcをかけ、加算する。これにより処理対象画像IMGに適用するパラメータ値Pzを算出する。
以上説明したように、第3の実施の形態のテンプレート変換処理では、CPU101は、同じテンプレートを適用した複数の元画像から処理対象画像に近似する合成画像を生成し、その合成比率に基づいてテンプレートに含まれるパラメータに乗ずる重み係数を算出する。そして、合成比率に応じて算出した重み係数を用いて各元画像に適用された調整後パラメータ値を加重加算することで、処理対象画像IMGZに適用するパラメータ値Pzを求める。
これにより、モデル画像やモデル間テンプレート変換データを持たない場合や、テンプレートのパラメータとランドマーク特徴量との関係が線形の変換関数で表せない場合等でも、処理対象の画像に近似する合成画像を作成することでその合成比率からテンプレートの変化を推測できる。
[第4の実施の形態]
次に、本発明に係る画像処理装置100の第4の実施の形態について説明する。
処理対象画像IMGに複数の部位が含まれる場合、それらすべての部位に対応可能なテンプレートを作成することは困難である。そのため、第4の実施の形態の画像処理装置100は、処理対象の画像に複数の部位が含まれている場合に画像を複数の部位に分け、各部位に最適なテンプレートを適用する。各部位に最適なテンプレートは、各部位に含まれるランドマークの特徴量で判断される。
また、分割された各部位に適用するテンプレートは、第1〜第3の実施の形態のいずれかの方法でテンプレート変換される。つまり、処理対象画像の各部位のランドマークの特徴量に応じて、適切なテンプレート変換が行われる。各部位に適したテンプレートが作成されると、CPU101は、各部位にテンプレートを適用して画像処理を行い、部位毎の解析画像を作成する。その後、部位毎に作成された解析画像を合成することで最終的な解析画像を得る。
これにより、複数の部位を含む画像であっても、各部位に適切なテンプレートを適用して解析画像を得ることができる。また、各部位に適用するテンプレートは各部位のランドマークの特徴量に応じて調整されるため、患者の個人差を考慮した精度のよい解析画像を作成できる。
以上、添付図面を参照しながら、本発明に係る画像処理装置の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
1・・・・・・・・・画像処理システム
100・・・・・・・画像処理装置
101・・・・・・・CPU101
102・・・・・・・主メモリ
103・・・・・・・記憶装置
104・・・・・・・通信I/F
105・・・・・・・表示メモリ
106・・・・・・・I/F
107・・・・・・・表示装置
108・・・・・・・マウス
109・・・・・・・入力装置
110・・・・・・・ネットワーク
111・・・・・・・画像データベース
113・・・・・・・画像撮影装置
21・・・・・・・・画像取得部
22・・・・・・・・テンプレート選択部
23・・・・・・・・特徴量抽出部
24・・・・・・・・テンプレート変換部
25・・・・・・・・画像処理部
31・・・・・・・・パラメータテーブル
32・・・・・・・・テンプレートテーブル
33・・・・・・・・ランドマークテーブル
34・・・・・・・・テンプレート調整データ
35・・・・・・・・モデル間テンプレート変換データ

Claims (7)

  1. 画像処理のテンプレートと、テンプレートを適用した元画像の情報と、テンプレートで使用する特徴量情報とを関連付けて保持するテンプレートテーブルを記憶する記憶部と、
    処理対象画像に対して適用する前記テンプレートを選択するテンプレート選択部と、
    前記処理対象画像の特徴量を抽出する特徴量抽出部と、
    前記特徴量抽出部により抽出された処理対象画像の特徴量と、前記テンプレート選択部により選択されたテンプレートを適用した前記元画像の特徴量との差に基づいて、前記テンプレートに含まれる各パラメータの値を変換するテンプレート変換部と、
    前記テンプレート変換部により変換されたパラメータの値を前記処理対象画像に対して適用することにより画像処理を実行する画像処理部と、
    を備えることを特徴とする画像処理装置。
  2. 前記記憶部は、
    複数のモデル画像の特徴量の相関に基づいてモデル画像間で前記テンプレートを変換するためのモデル間テンプレート変換データと、前記元画像とモデル画像との特徴量の相関に基づいてテンプレートに含まれるパラメータの値を調整するためのテンプレート調整データと、を予め保持し、
    前記テンプレート変換部は、
    前記テンプレート選択部により選択されたテンプレートに含まれるパラメータ値を前記テンプレート調整データを使用して第1モデル画像用に調整し、第1モデル画像用に調整されたパラメータ値を前記モデル間テンプレート変換データを用いて処理対象画像に近似する第2モデル画像用に変換し、第2モデル画像用に変換されたパラメータ値を第2モデル画像と処理対象画像との特徴量の差に基づいて処理対象画像用に調整することを特徴とする請求項1に記載の画像処理装置。
  3. 前記テンプレートテーブルは、更に、前記テンプレート変換部により変換または調整された調整後パラメータ値を前記元画像に関連付けて保持し、
    前記テンプレート選択部により選択された画像処理テンプレートを適用した複数の元画像の特徴量を前記テンプレートテーブルから取得する元画像特徴量取得部と、
    前記特徴量抽出部により抽出された処理対象画像の特徴量と、前記元画像特徴量取得部により取得した複数の元画像の各特徴量との差をそれぞれ求め、求めた差の大きさに基づいて前記調整後パラメータ値に乗ずる重み係数を算出する重み係数算出部と、を備え、
    前記テンプレート変換部は、前記重み係数算出部により算出した重み係数を各元画像に適用した調整後パラメータ値に加重加算することにより前記画像処理テンプレートのパラメータ値を調整することを特徴とする請求項1に記載の画像処理装置。
  4. 画像処理のテンプレートと、テンプレートを適用した元画像の情報と、テンプレートで使用する特徴量情報とを関連付けて保持するテンプレートテーブルを記憶する記憶部と、
    処理対象画像に対して適用する前記テンプレートを選択するテンプレート選択部と、
    前記テンプレート選択部により選択されたテンプレートを適用した元画像を前記テンプレートテーブルから複数取得する元画像取得部と、
    前記元画像取得部により取得した複数の元画像を合成し、処理対象画像に近似する合成画像を生成する合成画像生成部と、
    前記合成画像生成部により生成された合成画像における前記元画像の合成比率に基づいて前記テンプレートに含まれる各パラメータ値の調整を行うテンプレート変換部と、
    前記テンプレート変換部により変換されたパラメータの値を前記処理対象画像に対して適用することにより画像処理を実行する画像処理部と、
    を備えることを特徴とする画像処理装置。
  5. 前記テンプレート選択部は、処理対象画像に含まれる部位毎に適用するテンプレートを選択し、
    前記テンプレート変換部は、前記テンプレート選択部により部位毎に選択された各テンプレートに含まれるパラメータ値をそれぞれ各部位の特徴量と元画像の対応部位との特徴量の差に基づいて変換することを特徴とする請求項1〜請求項4のいずれかに記載の画像処理装置。
  6. コンピュータが、
    画像処理のテンプレートと、テンプレートを適用した元画像の情報と、テンプレートで使用する特徴量情報とを関連付けて記憶するステップと、
    処理対象画像に対して適用する前記テンプレートを選択するステップと、
    前記処理対象画像の特徴量を抽出するステップと、
    抽出された前記処理対象画像の特徴量と、選択されたテンプレートを適用した前記元画像の特徴量との差に基づいて、前記テンプレートに含まれる各パラメータの値を変換するステップと、
    変換されたパラメータの値を前記処理対象画像に対して適用することにより画像処理を実行するステップと、
    を含むことを特徴とする画像処理方法。
  7. コンピュータが、
    画像処理のテンプレートと、テンプレートを適用した元画像の情報と、テンプレートで使用する特徴量情報とを関連付けて記憶部に記憶するステップと、
    処理対象画像に対して適用する前記テンプレートを選択するステップと、
    選択されたテンプレートを適用した元画像を前記記憶部から複数取得するステップと、
    取得した複数の元画像を合成し、処理対象画像に近似する合成画像を生成するステップと、
    前記合成画像における前記元画像の合成比率に基づいて前記テンプレートに含まれる各パラメータの値を変換するステップと、
    変換されたパラメータの値を前記処理対象画像に対して適用することにより画像処理を実行するステップと、
    を含むことを特徴とする画像処理方法。
JP2013263635A 2013-12-20 2013-12-20 画像処理装置及び画像処理方法 Active JP6292863B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013263635A JP6292863B2 (ja) 2013-12-20 2013-12-20 画像処理装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013263635A JP6292863B2 (ja) 2013-12-20 2013-12-20 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2015118677A true JP2015118677A (ja) 2015-06-25
JP6292863B2 JP6292863B2 (ja) 2018-03-14

Family

ID=53531303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013263635A Active JP6292863B2 (ja) 2013-12-20 2013-12-20 画像処理装置及び画像処理方法

Country Status (1)

Country Link
JP (1) JP6292863B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163794A (zh) * 2018-05-02 2019-08-23 腾讯科技(深圳)有限公司 图像的转换方法、装置、存储介质和电子装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002017685A (ja) * 2000-07-10 2002-01-22 Ge Yokogawa Medical Systems Ltd 医用画像表示方法および医用画像表示装置
JP2006209396A (ja) * 2005-01-27 2006-08-10 Matsushita Electric Ind Co Ltd 画像変換方法、装置およびプログラム、並びに、サーバークライアントシステム
JP2010273764A (ja) * 2009-05-27 2010-12-09 Konica Minolta Medical & Graphic Inc 画像処理装置及び方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002017685A (ja) * 2000-07-10 2002-01-22 Ge Yokogawa Medical Systems Ltd 医用画像表示方法および医用画像表示装置
JP2006209396A (ja) * 2005-01-27 2006-08-10 Matsushita Electric Ind Co Ltd 画像変換方法、装置およびプログラム、並びに、サーバークライアントシステム
JP2010273764A (ja) * 2009-05-27 2010-12-09 Konica Minolta Medical & Graphic Inc 画像処理装置及び方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163794A (zh) * 2018-05-02 2019-08-23 腾讯科技(深圳)有限公司 图像的转换方法、装置、存储介质和电子装置
CN110163794B (zh) * 2018-05-02 2023-08-29 腾讯科技(深圳)有限公司 图像的转换方法、装置、存储介质和电子装置

Also Published As

Publication number Publication date
JP6292863B2 (ja) 2018-03-14

Similar Documents

Publication Publication Date Title
US10818048B2 (en) Advanced medical image processing wizard
US20190172199A1 (en) Integration of medical software and advanced image processing
RU2677764C2 (ru) Координатная привязка медицинских изображений
US20190051215A1 (en) Training and testing system for advanced image processing
US20040161139A1 (en) Image data navigation method and apparatus
US9519993B2 (en) Medical image processing apparatus
US8494242B2 (en) Medical image management apparatus and method, and recording medium
JP5943353B2 (ja) 画像処理装置及び画像処理方法
JP2010167042A (ja) 医用診断支援装置及びその制御方法、並びに、プログラム
Baum et al. Fusion viewer: a new tool for fusion and visualization of multimodal medical data sets
CN113487656B (zh) 图像配准方法及装置,训练方法及装置,控制方法及装置
JP5346734B2 (ja) 画像処理装置
US10964074B2 (en) System for harmonizing medical image presentation
JP2001087229A (ja) 画像処理方法及び装置
US9224188B2 (en) Image processing device, method and program
JP6995535B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2018108125A (ja) 情報処理装置、情報処理方法およびプログラム
JP5599683B2 (ja) 医用画像処理装置、医用画像処理方法
JP6292863B2 (ja) 画像処理装置及び画像処理方法
TWI632479B (zh) 醫學影像建模系統以及醫學影像建模方法
JP7275961B2 (ja) 教師画像生成プログラム、教師画像生成方法、および教師画像生成システム
KR20220060746A (ko) 의료 영상 생성 방법 및 장치
Goto et al. Super-resolution technology for X-ray images and its application for rheumatoid arthritis medical examinations
WO2023054645A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP5068336B2 (ja) 医用画像変換装置および方法並びにプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20160509

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171024

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20171030

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20171030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180213

R150 Certificate of patent or registration of utility model

Ref document number: 6292863

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250