JP2000137793A - 異常陰影検出処理システムおよび画像表示端末機 - Google Patents

異常陰影検出処理システムおよび画像表示端末機

Info

Publication number
JP2000137793A
JP2000137793A JP11179922A JP17992299A JP2000137793A JP 2000137793 A JP2000137793 A JP 2000137793A JP 11179922 A JP11179922 A JP 11179922A JP 17992299 A JP17992299 A JP 17992299A JP 2000137793 A JP2000137793 A JP 2000137793A
Authority
JP
Japan
Prior art keywords
image
information
layout
abnormal shadow
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP11179922A
Other languages
English (en)
Inventor
Hideya Takeo
英哉 武尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP11179922A priority Critical patent/JP2000137793A/ja
Priority to US09/382,804 priority patent/US6418237B1/en
Publication of JP2000137793A publication Critical patent/JP2000137793A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection

Abstract

(57)【要約】 【課題】 異常陰影検出処理システムにおいて、画像情
報の出力先が画像表示端末機であるときは、その表示レ
イアウトの組替えや、個々の画像に対する画像処理を、
出力先の画像表示端末機において自由に行うことができ
るようにする。 【解決手段】 入力された全体画像Pに基づいて異常陰
影P1を検出処理する異常陰影検出手段10と、検出され
た異常陰影P1およびその近傍領域P2を関心領域画像
Wとして設定する関心領域設定手段20と、全体画像P、
関心領域画像Wおよび異常陰影検出に関する検出結果情
報Nに基づいて、全体画像Pと関心領域画像Wとのレイ
アウト画像Lを作成するレイアウト画像作成手段40と、
これら各画像情報等であるP,W,NおよびLをコンポ
ーネントとして画像表示端末機に出力する出力手段30と
を備える。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は異常陰影検出処理シ
ステムおよびこの異常陰影検出処理システムから画像情
報が入力される画像表示端末機に関し、特に詳細には画
像表示端末機等に出力される画像情報の取扱いの改良お
よびこの出力された画像情報を受けた画像表示端末機に
おける当該画像情報の取扱いの改良に関するものであ
る。
【0002】
【従来の技術】医療分野においては、CT(Computed T
omography )装置、MRI(MagneticResonance Imagin
g)装置、CR(Computed Radiography)装置等各種の
画像形成モダリティ(画像入力デバイス)により、診断
用画像として取得された被写体の画像情報に基づいて、
その画像情報が表す画像中の異常陰影を計算機を用いて
自動的に検出する異常陰影検出処理システム(計算機支
援画像診断装置)が提案されている(特開平8-294479
号、特開平8-287230号等)。
【0003】この異常陰影検出処理システムは、マンモ
グラフィ(診断用乳房画像)に基づいて乳ガン等の存在
を示唆する異常陰影(腫瘤陰影や微小石灰化陰影等)を
検出することを主目的とし、異常陰影を自動的に検出処
理する異常陰影検出手段として、画像中の濃度勾配(ま
たは輝度勾配)を濃度勾配ベクトルとして表し、この濃
度勾配ベクトルの集中度合いの高い画像部分を異常陰影
として検出するアイリスフィルタを用いた異常陰影検出
手段や、検出しようとする異常陰影の大きさに応じた多
重構成要素を用いてこの多重構造要素よりも空間的に狭
い範囲で濃度変動する画像部分を異常陰影として検出す
るモフォロジーフィルタを用いた異常陰影検出手段があ
る。ここで、アイリスフィルタを用いた異常陰影検出手
段によれば、乳ガン等の一形態である腫瘤陰影(異常陰
影の一形態)を自動的に検出することができ、またモフ
ォロジーフィルタを用いた異常陰影検出手段によれば、
乳ガン等の他の一形態である微小石灰化陰影(異常陰影
の一形態)を自動的に検出することができる。
【0004】またこの異常陰影検出システムでは、異常
陰影の検出対象となる画像情報(原画像;例えばマンモ
グラフィ)が入力されると、上述した異常陰影検出手段
が異常陰影を検出処理し、関心領域設定手段がこの検出
された異常陰影およびその近傍領域を含む局所領域を関
心領域(region of interest;以下、ROIという)と
して設定し、このROI画像に対して局所画像処理手段
が、検出された異常陰影の属性(腫瘤陰影または微小石
灰化陰影かの別)に応じた強調処理等の特化された画像
処理を施し、一方、原画像を表す全体画像に対しても読
影性能向上のために全体画像処理手段が所定の画像処理
を施し、レイアウト画像作成手段が、予め設定されたレ
イアウトに応じて、この画像処理が施された全体画像と
上記特化された画像処理が施されたROI画像とを1つ
のレイアウト画像として形成して、このレイアウト画像
を表す画像情報(以下、レイアウト画像情報という)を
CRT等の画像表示端末機やLP(レーザプリンタ)等
の画像印刷端末機に出力するものとしている。
【0005】具体的には被写体としてマンモグラフィを
適用したときに、例えば図9に示すように、CRT 300
の表示面の向かって右側に、右側乳房の全体画像Pと検
出された異常陰影P1および近傍領域P2を含むROI
画像Wとを重ねて表示し、向かって左側に異常陰影が検
出されなかった左側乳房の全体画像P′を表示するよう
にレイアウトされた1つのレイアウト画像情報Lが、C
RT端末機 300に出力される。
【0006】
【発明が解決しようとする課題】ところで診断のために
医師に供される放射線画像等は、個々の医師の好みに適
したものとすることが要望されている。この好みは画像
を読影(観察)する医師の習慣や経験の差に基づくもの
であり、出力画像のレイアウトや、画像処理条件などの
点において特にその要望は強い。
【0007】しかし、上述した異常陰影検出システムに
よってCRT端末機等に出力されるレイアウト画像情報
は、予め設定されたレイアウト、画像処理条件等にした
がって処理された後の固定的な画像情報であって、医師
が診察室で操作するCRT端末機側では、この画像情報
からROI画像部分のみを取り出して新たに画像処理を
施したり、全体画像との配置を自在に組み替えることは
できなかった。
【0008】本発明は上記事情に鑑みなされたものであ
って、画像情報の出力先が画像表示端末機であるとき
は、その表示レイアウトの組替えや、個々の画像(全体
画像またはROI画像)に対する画像処理を、出力先の
画像表示端末機において自由に行うことができる異常陰
影検出処理システム、およびこの異常陰影検出システム
から入力された画像情報のレイアウトや画像処理を任意
に変更することも可能な画像表示端末機を提供すること
を目的とするものである。
【0009】
【課題を解決するための手段】本発明の異常陰影検出処
理システムは、出力先が画像表示端末機であるときは、
異常陰影検出手段により検出処理された異常陰影を含む
ROI画像と全体画像または埋込全体画像とを、その出
力先の画像表示端末機側で自在に画像処理し、任意のレ
イアウトで表示できるように、ROI画像を表す画像情
報と全体画像情報または埋込全体画像情報とを、それぞ
れコンポーネントとして当該画像表示端末機に出力しう
るものである。
【0010】すなわち本発明の第1の異常陰影検出処理
システムは、入力された全体画像情報に基づいて該全体
画像情報が表す全体画像中の異常陰影を検出処理する異
常陰影検出手段と、前記検出処理された異常陰影および
該異常陰影の近傍領域からなる局所領域を関心領域画像
として設定する関心領域設定手段と、下記(1)から
(4)のうちいずれか1つに係る情報を、外部の画像表
示端末機に出力する出力手段とを備えたことを特徴とす
るものである。
【0011】(1)前記全体画像情報と前記異常陰影検
出手段により検出された異常陰影の検出結果に関する情
報 (2)前記(1)に掲げる2つの情報と前記関心領域画
像を表す関心領域画像情報 (3)前記全体画像中に前記異常陰影の検出結果を埋め
込んだ埋込全体画像を表す埋込全体画像情報 (4)前記埋込全体画像情報と前記関心領域画像情報 ここで異常陰影検出手段とは、前記特開平8-294479号、
特開平8-287230号等により開示された、マンモグラフィ
や胸部画像等を対象として乳ガン等の存在を示唆する異
常陰影を自動的に検出処理する手段であり、例えば、画
像の濃度勾配の集中度の高い画像部分を異常陰影として
検出するアイリスフィルタを利用した異常陰影検出手
段、または用いる多重構造要素よりも空間的に狭い範囲
で濃度変動する画像部分を異常陰影として検出するモフ
ォロジフィルタを利用した異常陰影検出手段などを適用
することができる。
【0012】入力された全体画像情報とは、CT装置、
MRI装置、CR装置等各種の画像形成モダリティの
他、画像情報を記憶したメモリ等を含む画像入力デバイ
スから入力された、被写体の全体を示す画像情報をいう
ものである。なお画像入力デバイスは、医療画像ネット
ワーク等のネットワークを介して接続されたものであっ
てもよい。
【0013】関心領域設定手段は、局所領域が例えば矩
形形状や円形状となるように、検出された異常陰影の近
傍領域を設定するものである。
【0014】異常陰影の検出結果に関する検出結果情報
とは、例えば異常陰影の数(すなわち設定されるROI
画像の数)、その異常陰影の検出位置(または当該検出
位置を表す座標)、異常陰影の属性(腫瘤陰影か、また
は微小石灰化陰影かの別)等を意味する。したがって、
全体画像中に異常陰影の検出結果を埋め込んだ埋込全体
画像とは、全体画像に、検出された異常陰影の位置等を
示す情報を埋め込んで1つの全体画像として形成された
画像をいい、この埋込全体画像は、異常陰影検出手段に
より形成するものであってもよいし、関心領域設定手段
により形成してもよいし、出力手段により形成してもよ
いし、これらとは別に埋込画像生成手段を設けてこの埋
込画像生成手段により形成するものであってもよい。
【0015】画像表示端末機とは、入力された画像情報
に対して強調処理や平滑化処理等の画像処理、およびレ
イアウトの設定や変更を行うことができる程度の処理機
能を有する、画像表示機能を有する端末機を意味するも
のである。
【0016】また、全体画像または前記埋込全体画像と
関心領域画像とを所定のレイアウトで配置したレイアウ
ト画像を作成するレイアウト画像作成手段をさらに備え
た構成を採用した異常陰影検出処理システムにおいて
は、出力手段が、前記外部の画像表示端末機に出力され
る情報(上記(1)から(4)のうちいずれかの情報)
とともに、前記レイアウト画像作成手段により作成され
た前記レイアウト画像を表すレイアウト画像情報をも、
画像表示端末機に出力するものとすればよい。
【0017】ここでレイアウト画像とは、例えば図9に
示すように、上記所定のレイアウトで、全体画像または
埋込全体画像と関心領域画像とを配置して得られた画像
を意味するものであり、所定のレイアウトは、予め設定
されたものであってもよいし、検出された異常陰影の数
等に基づいて設定してもよいし、その他外部からの要求
に応じたものであってもよい。
【0018】なお、レイアウトの態様としては、全体画
像または埋込全体画像とROI画像とを1つの表示画面
上にマルチウインドの形式で各別に表示・出力する態
様、1つのウインド内に全体画像または埋込全体画像と
ROI画像とを重ねて表示・出力する態様、組となるべ
き複数の画像(例えば左右のマンモグラフィ)をもマル
チウインドの形式で1つの表示画面上(または1つの出
力媒体上)に表示・出力する態様等、特開平8-294479号
に開示されたような公知の種々のレイアウト態様を採る
ことができる。
【0019】またレイアウト画像作成手段を備えるのに
代えて、前記全体画像または前記埋込み全体画像と前記
関心領域画像とにより所定のレイアウト画像を作成する
ためのレイアウト条件を設定するレイアウト条件設定手
段をさらに備え、前記出力手段が、前記(2)または
(4)のうちいずれか一方に係る情報を前記外部の画像
表示端末機に出力する場合には、該出力手段は、前記一
方に係る情報とともに、前記レイアウト条件設定手段に
より設定されたレイアウト条件を、前記画像表示端末機
に出力するものとした構成を採用することもできる。少
なくともレイアウト条件と、全体画像情報または埋込全
体画像情報と、関心領域画像情報とが画像表示端末機に
出力されていれば、画像表示端末機側でレイアウト画像
を作成することができるからである。
【0020】なお、出力されたレイアウト画像に不満が
あったときも、出力されたレイアウト条件を参考にし
て、画像表示端末機側で自由にレイアウト条件を設定し
て、所望とするレイアウトのレイアウト画像を表示させ
ることもできる。
【0021】上記レイアウト条件とは、全体画像または
埋込全体画像と関心領域画像とのレイアウトを規定する
パラメータ等の情報を意味するものである。
【0022】さらに全体画像情報または埋込全体画像情
報に対して第1の画像処理を施す第1の画像処理手段
と、関心領域画像情報に対して第2の画像処理を施す第
2の画像処理手段とをさらに備えた構成を採用すること
もでき、この構成の異常陰影検出処理システムにおいて
は、出力手段により出力される全体画像情報として第1
の画像処理を施された後の全体画像情報をまたは出力手
段により出力される埋込全体画像情報として第1の画像
処理を施された後の埋込全体画像情報を、出力手段によ
り出力される関心領域画像情報として第2の画像処理を
施された後の関心領域画像情報をそれぞれ適用するもの
である。なお、出力手段により出力される画像情報にレ
イアウト画像情報が含まれる場合には、そのレイアウト
画像情報に係るレイアウト画像中の全体画像情報または
埋込全体画像情報は第1の画像処理が施された後のもの
であり、レイアウト画像中の関心領域画像情報は第2の
画像処理が施された後のものとすればよい。
【0023】ここで第1の画像処理は全体画像または埋
込全体画像の読影性能を向上させるのに適した画像処理
であり、第2の画像処理は関心領域画像の読影性能を向
上させるのに適した画像処理を意味し、第2の画像処理
は、検出された異常陰影の属性、すなわち異常陰影が腫
瘤陰影かまたは微小石灰化陰影かに応じて異なるものと
して設定されていることが望ましい。なお、第2の画像
処理には、画像のサイズを変える拡大縮小処理を含むこ
とが望ましい。
【0024】さらにまた、上記第1の画像処理手段およ
び第2の画像処理手段に代えて、またはこれらの画像処
理手段とともに、前記全体画像情報または前記埋込全体
画像情報に対して施す第1の画像処理の処理条件および
前記関心領域画像情報に対して施す第2の画像処理の処
理条件をそれぞれ設定する画像処理条件設定手段を備
え、前記出力手段が、前記外部の画像表示端末機に出力
される情報とともに、前記画像処理条件設定手段により
設定された前記第1の画像処理の処理条件および前記第
2の画像処理の処理条件を、前記画像表示端末機に出力
するものとした構成を採用することもできる。
【0025】これらの画像処理条件が画像表示端末機に
出力されれば、画像表示端末機側で各画像処理の処理条
件にしたがって画像処理を施すことができ、また出力さ
れた画像処理済の画像に不満があったときも、各画像処
理の処理条件を参考にして画像表示端末機側で自由に画
像処理を変えて表示させることもできる。
【0026】なお、異常陰影検出手段による異常陰影検
出処理の対象となる被写体に係る画像情報としては、乳
房に係る画像情報すなわちマンモグラフィを適用するの
が適当である。マンモグラフィは、左右乳房についてそ
れぞれ平面方向および側面方向から撮影された4つの画
像で1組とされているのが一般的であるため、画像表示
端末機側での独自のレイアウト要求がより強く、本発明
の果たす効果がより大きいからである。
【0027】以上、本発明の第1の異常陰影検出システ
ムにおける説明は、下記本発明の第2の異常陰影検出シ
ステムにおいても同様に適用される。
【0028】本発明の第2の異常陰影検出システムは、
画像情報の出力先が、画像表示端末機であるか画像印刷
端末機であるかに応じて、出力する情報内容を異なるも
のとするものであり、画像表示端末機であるときは上述
した本発明の第1の異常陰影検出システムと同様の作用
をなしうる構成を有するものである。
【0029】すなわち本発明の第2の異常陰影検出シス
テムは、入力された全体画像情報に基づいて該全体画像
情報が表す全体画像中の異常陰影を検出処理する異常陰
影検出手段と、前記検出処理された異常陰影および該異
常陰影の近傍領域からなる局所領域を関心領域画像とし
て設定する関心領域設定手段と、外部への出力先の種類
を検出する出力先種類検出手段と、前記検出された出力
先が画像表示端末機であるときは、上記(1)から
(4)のうちいずれか1つに係る情報を該画像表示端末
機に出力し、前記検出された出力先が画像印刷端末機で
あるときは、下記(3)または(4)のうちいずれか一
方に係る情報を該画像印刷端末機に出力する出力手段と
を備えたことを特徴とするものである。
【0030】画像印刷端末機とは、レーザプリンタ等
の、フイルムやその他の媒体に画像を定着して再生させ
る装置を意味するものである。
【0031】なお、全体画像または埋込全体画像と関心
領域画像とを所定のレイアウトで配置したレイアウト画
像を表すレイアウト画像情報をさらに備え、出力手段
が、得られたレイアウト画像情報を上記(1)から
(4)のうちいずれか1つに係る情報とともに画像表示
端末機や画像印刷端末機等に出力するものとした構成を
採用することもできる。
【0032】またレイアウト画像作成手段を備えるのに
代えて、前記全体画像または前記埋込み全体画像と前記
関心領域画像とにより所定のレイアウト画像を作成する
ためのレイアウト条件を設定するレイアウト条件設定手
段をさらに備え、前記検出された出力先が画像表示端末
機であって、前記出力手段が、前記(2)または(4)
のうちいずれか一方に係る情報を当該画像表示端末機に
出力する場合には、該出力手段は、前記一方に係る情報
とともに、前記レイアウト条件設定手段により設定され
たレイアウト条件を、前記画像表示端末機に出力するも
のとした構成を採用することもできる。少なくともレイ
アウト条件と、全体画像情報または埋込全体画像情報
と、関心領域画像情報とが画像表示端末機に出力されて
いれば、画像表示端末機側でレイアウト画像を作成する
ことができるからである。一方、画像印刷端末機側で
は、独自にレイアウトを設定することはできないため、
出力先が画像印刷端末機であるときはそのようなレイア
ウト条件を出力するには及ばない。
【0033】なお、出力先が画像表示端末機である場合
には、出力されたレイアウト画像に不満があったとき
も、出力されたレイアウト条件を参考にして、画像表示
端末機側で自由にレイアウト条件を設定して、所望とす
るレイアウトのレイアウト画像を表示させることもでき
る。
【0034】上記レイアウト条件とは、本発明の第1の
異常陰影検出処理システムで説明したものと同義であ
る。
【0035】また、前記全体画像情報または埋込全体画
像情報に対して第1の画像処理を施す第1の画像処理手
段と、関心領域画像情報に対して第2の画像処理を施す
第2の画像処理手段とをさらに備えた構成を採用するこ
とができ、この構成の異常陰影検出システムにおいて
は、出力手段により出力される全体画像または埋込全体
画像として第1の画像処理を施された後の全体画像また
は埋込全体画像を、出力される関心領域画像として第2
の画像処理が施された後の関心領域画像をそれぞれ適用
するものである。なお出力手段により出力される画像情
報にレイアウト画像情報が含まれる場合には、そのレイ
アウト画像情報に係るレイアウト画像中の全体画像また
は埋込全体画像は第1の画像処理が施された後のもので
あり、レイアウト画像中の関心領域画像は第2の画像処
理が施された後のものとすればよい。
【0036】さらにまた、上記第1の画像処理手段およ
び第2の画像処理手段に代えて、またはこれらの画像処
理手段とともに、前記全体画像情報または前記埋込全体
画像情報に対して施す第1の画像処理の処理条件および
前記関心領域画像情報に対して施す第2の画像処理の処
理条件をそれぞれ設定する画像処理条件設定手段を備
え、検出された出力先が画像表示端末機であるときは、
前記出力手段が、その画像表示端末機に出力される情報
とともに、前記画像処理条件設定手段により設定された
前記第1の画像処理の処理条件および前記第2の画像処
理の処理条件を、画像表示端末機に出力するものとした
構成を採用することもできる。
【0037】これらの画像処理条件が画像表示端末機に
出力されれば、画像表示端末機側で各画像処理の処理条
件にしたがって画像処理を施すことができ、また出力さ
れた画像処理済の画像に不満があったときも、各画像処
理の処理条件を参考にして画像表示端末機側で自由に画
像処理を変えて表示させることもできる。一方、画像印
刷端末機では、独自に画像処理を施すことはできないた
め、出力先が画像印刷端末機であるときは、そのような
画像処理の処理条件を出力するには及ばない。
【0038】なお、異常陰影検出手段による異常陰影検
出処理の対象となる被写体に係る画像情報として、乳房
に係る画像情報すなわちマンモグラフィを適用したとき
に、本発明の果たす効果はより大きい。マンモグラフィ
は、左右乳房についてそれぞれ平面方向および側面方向
から撮影された4つの画像で1組とされているのが一般
的であるため、画像表示端末機側での独自のレイアウト
要求がより強いためである。
【0039】上述した本発明の各異常陰影検出処理シス
テムにおいては、出力手段が画像情報等の上述した各情
報を所定の出力先に出力するのに先だって、出力先に出
力する上記各情報を、その出力態様でメモリやその他の
記憶媒体等にファイリングするようにしてもよく、その
ためにさらに記憶部を設けた構成を採用することもでき
る。
【0040】本発明の画像表示端末機は、上述した本発
明の異常陰影検出処理システムから入力された画像情報
を可視画像として表示する画像表示端末機において、前
記異常陰影検出処理システムから入力された前記全体画
像情報または前記埋込全体画像情報と、前記関心領域画
像情報とを、所望とするレイアウトで配置してレイアウ
ト画像を作成し、または前記異常陰影検出処理システム
から入力されたレイアウト条件にしたがってレイアウト
画像を作成するレイアウト画像作成手段を備え、該レイ
アウト画像作成手段により作成されたレイアウト画像を
表示しうることを特徴とするものである。
【0041】このような構成を採用した本発明の画像表
示端末機によれば、入力された画像情報に基づいて自由
にレイアウト画像を作成したり、または入力されたレイ
アウト条件にしたがってレイアウト画像を作成する場合
にはそのレイアウト条件の算出に要する処理負荷を軽減
することができる。
【0042】また本発明の画像表示端末機においては、
前記異常陰影検出処理システムから入力された画像情報
に対して所望とする画像処理条件で画像処理を施し、ま
たは前記全体画像情報または前記埋込全体画像情報に対
して前記異常陰影検出処理システムから入力された前記
第1の画像処理の処理条件にしたがって画像処理を施す
とともに前記関心領域画像情報に対して前記異常陰影検
出処理システムから入力された前記第2の画像処理の処
理条件にしたがって画像処理を施す画像処理手段をさら
に備えた構成を採用することができる。このような構成
を採用した画像表示端末機によれば、入力された画像情
報に基づいて自由に画像処理を施し、または入力された
処理条件にしたがって画像処理を施す場合にはその処理
条件の算出に要する処理負荷を軽減することができる。
【0043】
【発明の効果】本発明の異常陰影検出処理システムによ
れば、出力先が画像表示端末機であるときは、異常陰影
を含むROI画像を表す画像情報と全体画像情報または
異常陰影の検出結果に関する検出結果を全体画像中に埋
め込んでなる埋込全体画像情報とを、それぞれコンポー
ネントとして当該画像表示端末機に出力するため、その
出力先の画像表示端末機で画像を読影する読影者(主と
して医師)が、これらの情報に基づいてROI画像およ
び全体画像または埋込画像情報に、自己の読影適性に合
った画像処理を施し、またこれらを所望のレイアウトで
表示させることができ、この結果、読影診断性能を向上
させることができる。また読影者が自身の読影適性を理
解していない場合であっても、画像表示端末機で、上述
したROI画像情報、全体画像情報および検出結果情報
に基づいて、画像処理やレイアウトの変更を何回も行う
ことができるため、画像処理および/またはレイアウト
設定を試行錯誤的に行うことができ、読影者の読影適性
に合う画像処理、レイアウトを模索することができる。
【0044】なお、本発明の第2の異常陰影検出処理シ
ステムではさらに、出力先が、フイルム等の媒体を無駄
に消費してしまう試行錯誤的な出力を行うことを予定し
ていない画像印刷端末機であるときは、異常陰影検出処
理システムにおいて設定した画像処理、レイアウトで形
成されたレイアウト画像を出力するため、上記媒体の無
駄な消費を抑制することもできる。
【0045】本発明の画像表示端末機によれば、入力さ
れた画像情報に基づいて自由にレイアウト画像を作成し
たり、または入力されたレイアウト条件にしたがってレ
イアウト画像を作成する場合にはそのレイアウト条件の
算出に要する処理負荷を軽減することができる。
【0046】
【発明の実施の形態】以下、本発明の異常陰影検出処理
システムの実施の形態について、図面を用いて説明す
る。
【0047】図1は本発明の第1の異常陰影検出処理シ
ステムの一実施形態を示すブロック図である。図示の異
常陰影検出処理システムには、患者のマンモグラフィP
が入力されて、外部の画像表示端末機(CRT端末機)
に画像情報等を出力するものであり、入力されたマンモ
グラフィの全体画像情報Pに基づいてこの全体画像情報
が表す全体画像P(画像に対して画像情報と同一符号を
付す。以下、同じ)中の異常陰影P1を検出処理する異
常陰影検出手段10と、この異常陰影検出手段10により検
出された異常陰影P1および異常陰影P1の近傍領域P
2からなる矩形の局所領域を関心領域画像Wとして設定
する関心領域設定手段20と、 (1)全体画像情報Pおよび異常陰影検出手段10により
検出された異常陰影P1の検出結果(異常陰影の数(本
実施形態においては1つ)、その異常陰影の検出位置、
異常陰影の属性(腫瘤陰影か、または微小石灰化陰影か
の別))に関する検出結果情報N (2)全体画像情報P、検出結果情報Nおよび関心領域
画像情報W (3)全体画像P中に検出結果Nを埋め込んだ埋込全体
画像情報P0 (4)埋込全体画像情報P0および関心領域画像情報W の4つのうちいずれか1つ((1)、(2)、(3)ま
たは(4))に係る情報を、外部の画像表示端末機に出
力する出力手段30とを備えた構成である。
【0048】ここで異常陰影検出手段10は、画像の濃度
勾配の集中度の高い画像部分を異常陰影として検出する
アイリスフィルタを利用した異常陰影検出処理のアルゴ
リズムと多重構造要素よりも空間的に狭い範囲で濃度変
動する画像部分を異常陰影として検出するモフォロジフ
ィルタを利用した異常陰影検出処理のアルゴリズムとを
記憶しているものであり、それぞれのアルゴリズムによ
り異常陰影の形状範囲・位置・数を検出する。なお、各
アルゴリズムによって検出できる異常陰影の属性は異な
るため、いずれのアルゴリズムで検出された異常陰影か
により異常陰影の属性が決定される。
【0049】次に本実施形態の異常陰影検出処理システ
ムの作用について説明する。
【0050】まず、外部の画像形成モダリティからマン
モグラフィの全体画像情報Pが、本実施形態の異常陰影
検出処理システムの異常陰影検出手段10および出力手段
30に入力される。異常陰影検出手段10は入力された全体
画像情報Pに対して上述した異常陰影検出処理アルゴリ
ズムにしたがって、このマンモグラフィ中の異常陰影P
1を検出処理する。この検出処理により、異常陰影の形
状範囲・位置・数が検出され、異常陰影の形状範囲で囲
まれた領域が異常陰影P1とされ、その位置情報、検出
数情報および属性情報からなる検出結果情報Nととも
に、出力される。
【0051】異常陰影検出手段10から出力された異常陰
影画像情報P1および検出結果情報Nは関心領域設定手
段20に入力されるが、検出結果情報Nは出力手段30にも
入力される。
【0052】関心領域設定手段20は、入力された異常陰
影P1および検出結果情報Nに基づいて、異常陰影P1
を含む矩形の局所領域を関心領域画像Wとして設定す
る。なお検出された異常陰影の数が複数であるときは、
この関心領域画像Wも複数設定される。関心領域設定手
段20は、設定された関心領域画像Wの画像情報(関心領
域画像情報)Wを出力手段30に入力する。
【0053】関心領域画像情報Wが入力された出力手段
30には、既にこの関心領域画像情報Wが設定される基礎
となった全体画像情報Pと検出結果情報Nとが入力され
ており、出力手段30は入力された全体画像情報Pおよび
検出結果情報Nに基づいて埋込全体画像情報P0を作成
するとともに、上述した(1)から(4)のうちいずれ
か1つに係る情報をコンポーネントとして(つまり、こ
れらの各情報が分離したものとして)、外部の画像表示
端末機に出力する。
【0054】ここで、上記(1)から(4)のうちいず
れを出力するかは、この異常陰影検出処理システムを使
用するユーザーごとに、いずれか1つを固定的に予め設
定してもよいし、外部の端末機等から要求された1つを
選択して出力するようにしてもよい。
【0055】ここでは例えば画像表示端末機からの要求
に応じて上記(2)に係る情報を当該画像表示端末機に
出力するものとする。出力先の画像表示端末機には、異
常陰影検出処理システムから入力された(2)に係る情
報、すなわち全体画像P、異常陰影P1の検出結果Nお
よび関心領域画像Wが表示され、この画像表示端末機に
表示されたこれらの情報を観察した読影者は、これらの
画像情報に基づいて関心領域画像Wおよび全体画像P
に、自己の読影適性に合った画像処理を施し、またこれ
らを所望のレイアウトでその画像表示端末機に表示させ
ることができる。
【0056】このように本実施形態の異常陰影検出処理
システムによれば、外部の画像表示端末機で画像を読影
する読影者に対して、システム独自の画像処理およびレ
イアウトで形成された最終的なレイアウト画像のみを押
しつけるのではなく、その読影者が画像表示端末機で試
行錯誤的に異常陰影の読影に適した処理を行うことがで
きる形式で画像情報を提供するため、結果的に読影性能
の高い情報を提供することができる。
【0057】なお上記実施形態の異常陰影検出処理シス
テムにおいては、外部の画像表示端末機からの要求が上
記(2)に係る情報の場合について説明したが、他の
(1)、(3)または(4)に係る各情報が要求された
場合には、出力手段30はその要求に応じた情報をそれぞ
れコンポーネントとして当該画像表示端末機に出力し、
画像表示端末機において読影者が自由にそのコンポーネ
ントの情報に対して処理を施すことができ、また配置を
設定することができる。
【0058】また、本実施形態の異常陰影検出処理シス
テムにおいては、外部の画像表示端末機からの要求に応
じて、出力手段が上記(1)から(4)のうちいずれか
1つに係る情報を出力するものとしたが、(1)から
(4)のうちいずれか1つに係る情報をユーザごとに予
め設定しておいてもよい。
【0059】図2は本発明の第1の異常陰影検出処理シ
ステムの第2の実施形態を示すブロック図である。図示
の異常陰影検出処理システムは、図1に示した実施形態
の異常陰影検出処理システムに対して、全体画像Pと関
心領域画像Wとを所定のレイアウトで配置したレイアウ
ト画像Lを作成して、このレイアウト画像Lを表す画像
情報(レイアウト画像情報)Lを出力手段30に出力する
レイアウト画像作成手段40をさらに備えた構成であり、
出力手段30が、外部の画像表示端末機に出力する上記
(1)から(4)のうちいずれか1つに係る情報ととも
に、入力されたレイアウト画像情報Lを、画像表示端末
機に出力する機能を有するものとされている。
【0060】所定のレイアウトとしては、例えば全体画
像Pまたは埋込全体画像P0の辺縁の領域に関心領域画
像Wを貼り付けたレイアウトなどが採用される。検出さ
れた異常陰影が複数の場合には、それに応じて設定され
た複数の関心領域画像Wが互いに重複しないように配置
される。
【0061】次に本実施形態の異常陰影検出処理システ
ムの作用について説明する。
【0062】まず、外部の画像形成モダリティからマン
モグラフィの全体画像情報Pが、本実施形態の異常陰影
検出処理システムの異常陰影検出手段10、レイアウト画
像作成手段40および出力手段30に入力される。異常陰影
検出手段10は入力された全体画像情報Pに基づいて、こ
のマンモグラフィ中の異常陰影P1を検出処理し、異常
陰影画像情報P1と検出結果情報Nとを関心領域設定手
段20に出力する。異常陰影検出手段10から出力された異
常陰影画像情報P1および検出結果情報Nのうち、検出
結果情報Nはレイアウト画像作成手段40および出力手段
30にも入力される。
【0063】関心領域設定手段20は、入力された異常陰
影P1および検出結果情報Nに基づいて、異常陰影P1
を含む矩形の局所領域を関心領域画像Wとして設定し、
この設定した関心領域画像情報Wをレイアウト画像作成
手段40および出力手段30に入力する。
【0064】一方、レイアウト画像作成手段40は、外部
から直接入力された全体画像情報P、異常陰影検出手段
10から入力された検出結果情報Nおよび関心領域設定手
段20から入力された関心領域画像情報Wに基づいて、全
体画像Pと関心領域画像Wとを所定のレイアウトで配置
したレイアウト画像Lを形成し、このレイアウト画像L
の画像情報(レイアウト画像情報)Lを出力手段30に出
力する。
【0065】以上の作用により出力手段30には、全体画
像情報P、関心領域画像情報W、検出結果情報Nおよび
レイアウト画像情報Lが入力されている。出力手段30は
前述した実施形態と同様に、全体画像Pに検出結果Nを
埋め込んだ埋込全体画像P0を表す埋込全体画像情報P
0を作成し、外部の画像表示端末機からの要求に応じ
て、または予め設定されたものとして、上述した(1)
から(4)のうちいずれか1つに係る情報とともに、レ
イアウト画像情報Lをそれぞれコンポーネントとして
(つまり、これらの各情報が分離したものとして)、外
部の画像表示端末機に出力する。
【0066】出力先の画像表示端末機には、上述した
(1)から(4)のうちいずれか1つに係る画像情報と
ともに、レイアウト画像情報Lに基づいたレイアウト画
像Lが入力され、デフォルトの画像としてこのレイアウ
ト画像情報Lが表すレイアウト画像Lが表示される。こ
こで、この画像表示端末機で画像を読影する読影者が、
表示されたレイアウト画像Lのレイアウトに満足できな
い場合や、独自の画像処理を施したい場合には、コンポ
ーネントとして入力された他の画像情報や検出結果情報
を用いて、独自のレイアウトで他の画像やレイアウト画
像をその画像表示端末機に表示させることができる。
【0067】このように本実施形態の異常陰影検出処理
システムによれば、外部の画像表示端末機で画像を読影
する読影者に対して、その読影者が画像表示端末機で試
行錯誤的に異常陰影の読影に適したレイアウト処理や画
像処理を行うことができる形式で画像情報を提供するた
め、結果的に読影性能の高い情報を提供することができ
る。
【0068】図3は本発明の第1の異常陰影検出処理シ
ステムの第3の実施形態を示すブロック図である。図示
の異常陰影検出処理システムは、図2に示した実施形態
の異常陰影検出処理システムに対して、レイアウト画像
作成手段40に代えて、レイアウト画像情報Lを作成する
ためのレイアウトの条件(相対的な位置関係等)Cのみ
を設定するレイアウト条件設定手段40′を備えた点が異
なるとともに、出力手段30が、レイアウト画像情報Lを
出力するのに代えて、このレイアウト条件設定手段40′
により設定されたレイアウト条件Cを出力するものとし
た点が異なるものである。
【0069】このレイアウト条件Cは、デフォルトとし
て設定された推奨レイアウトのレイアウト画像情報Lを
作成するための条件であり、全体画像情報P、異常陰影
の検出結果情報Nおよび関心領域画像情報Wの入力を受
けたレイアウト条件設定手段40′が、上記レイアウト条
件Cを設定し、この設定されたレイアウト条件Cは、出
力手段30に入力される。そして、出力手段30は上述した
(1)から(4)のうち、出力要求を受けたいずれか1
つに係る情報とともに、このレイアウト条件Cを外部の
画像表示端末機に出力する。
【0070】出力先の画像表示端末機には、出力手段30
から出力された上述した(1)から(4)のうちいずれ
か1つに係る画像情報とともに、レイアウト条件Cが入
力され、この画像表示端末機で画像を読影する読影者
は、入力された推奨のレイアウト条件Cにしたがって、
コンポーネントとして入力された画像情報や検出結果情
報Nを用いてレイアウト画像を作成して表示させ、また
はその推奨のレイアウト条件を参考にして独自のレイア
ウトでレイアウト画像を作成・表示させることができ
る。
【0071】このように本実施形態の異常陰影検出処理
システムによれば、外部の画像表示端末機で画像を読影
する読影者に対して、その読影者が画像表示端末機で試
行錯誤的に異常陰影の読影に適したレイアウト処理や画
像処理を行うことができる形式で画像情報を提供するた
め、結果的に読影性能の高い情報を提供することができ
る。
【0072】図4は本発明の第1の異常陰影検出処理シ
ステムの第4の実施形態を示すブロック図である。図示
の異常陰影検出処理システムは、図2に示した実施形態
の異常陰影検出処理システムに対して、全体画像情報P
に対して第1の画像処理を施し、この画像処理により得
られた全体画像情報P′をレイアウト画像作成手段40お
よび出力手段30に出力する第1の画像処理手段50と、関
心領域画像情報Wに対して第2の画像処理を施し、この
画像処理により得られた関心領域画像情報W′をレイア
ウト画像作成手段40および出力手段30に出力する第2の
画像処理手段60とをさらに備えた構成であり、レイアウ
ト画像作成手段40が、これら画像処理後の全体画像情報
P′および関心領域画像情報W′をレイアウト画像作成
の対象とし、出力手段30が、画像処理後の全体画像情報
P′および検出結果情報Nに基づいて、画像処理後の全
体画像P′に検出結果Nを埋め込んだ埋込全体P0′を
表す埋込全体画像情報P0′を作成するとともに、外部
の画像表示端末機からの要求に応じて、 (1′)全体画像情報P′および検出結果情報N (2′)全体画像情報P′、検出結果情報Nおよび関心
領域画像情報W′ (3′)埋込全体画像情報P0′ (4′)埋込全体画像情報P0′および関心領域画像情
報W′ の4つのうちいずれか1つに係る情報およびレイアウト
画像作成手段40により作成されたレイアウト画像情報
L′を、画像表示端末機に出力する機能を有するものと
されている。
【0073】次に本実施形態の異常陰影検出処理システ
ムの作用について説明する。
【0074】まず、外部の画像形成モダリティからマン
モグラフィの全体画像情報Pが、本実施形態の異常陰影
検出処理システムの異常陰影検出手段10および第1の画
像処理手段50に入力される。異常陰影検出手段10は入力
された全体画像情報Pに基づいて、このマンモグラフィ
中の異常陰影P1を検出処理し、異常陰影画像情報P1
と検出結果情報Nとを関心領域設定手段20に出力する。
異常陰影検出手段10から出力された異常陰影画像情報P
1および検出結果情報Nのうち、検出結果情報Nはレイ
アウト画像作成手段40および出力手段30にも入力され
る。
【0075】第1の画像処理手段50は、入力された全体
画像情報Pに対して、所定の画像処理条件にしたがった
第1の画像処理を施し、この画像処理により得られた処
理後の全体画像情報P′をレイアウト画像作成手段40お
よび出力手段30に出力する。
【0076】一方、関心領域設定手段20は、入力された
異常陰影P1および検出結果情報Nに基づいて、異常陰
影P1を含む矩形の局所領域を関心領域画像Wとして設
定し、この設定した関心領域画像情報Wを第2の画像処
理手段60に入力する。第2の画像処理手段60は、入力さ
れた関心領域画像Wに対して、所定の画像処理条件にし
たがった第2の画像処理を施し、この画像処理により得
られた処理後の関心領域画像W′をレイアウト画像作成
手段40および出力手段30に出力する。
【0077】レイアウト画像作成手段40は、第1の画像
処理手段50から入力された全体画像情報P′、第2の画
像処理手段60から入力された関心領域画像情報W′、お
よび検出結果情報Nに基づいて、全体画像P′と関心領
域画像W′とを所定のレイアウトで配置したレイアウト
画像L′を形成するとともに、このレイアウト画像L′
の画像情報(レイアウト画像情報)L′を出力手段30に
出力する。
【0078】以上の作用により出力手段30には、画像処
理後の全体画像情報P′、画像処理後の関心領域画像情
報W′、検出結果情報Nおよびレイアウト画像情報L′
が入力されており、外部の画像表示端末機からの要求に
応じて上記(1′)から(4′)のうちいずれか1つに
係る情報およびレイアウト画像情報L′を外部の画像表
示端末機に出力する。
【0079】出力先の画像表示端末機には、出力手段30
から出力された情報が入力され、レイアウト画像L′が
デフォルトで表示されるが、この画像表示端末機で画像
を読影する読影者が、表示されたレイアウト画像Lのレ
イアウトに満足できない場合は、コンポーネントとして
入力された全体画像情報P′および関心領域画像情報
W′に基づいて、全体画像情報P′と関心領域画像情報
W′とを独自のレイアウトでその画像表示端末機に表示
させることができる。
【0080】このように本実施形態の異常陰影検出処理
システムによれば、外部の画像表示端末機で画像を読影
する読影者に対して、その読影者が画像表示端末機で試
行錯誤的に異常陰影の読影に適した処理を行うことがで
きる形式で画像情報を提供するため、結果的に読影性能
の高い情報を提供することができる。
【0081】なお図4に示した実施形態において、デフ
ォルトのレイアウト画像L′を作成しない図5に示す構
成を採用することもできる。この構成の実施形態におい
ては、出力手段30には、画像処理後の全体画像情報
P′、画像処理後の関心領域画像情報W′および検出結
果情報Nが入力され、出力手段30は上記(1′)〜
(4′)のうちいずれか1つに係る情報をコンポーネン
トとして画像表示端末機に出力するものである。この実
施形態によっても、外部の画像表示端末機で画像を読影
する読影者に対して、その読影者が画像表示端末機で試
行錯誤的に異常陰影の読影に適した処理を行うことがで
きる形式で画像情報を提供するため、結果的に読影性能
の高い情報を提供することができる。
【0082】また図4に示した実施形態におけるレイア
ウト画像作成手段40に代えて、図3にしましたレイアウ
ト条件設定手段を備えた構成を採用することもできる。
この構成の以上陰影検出処理システムによっても上記各
実施形態のシステムと同様の効果を得ることができる。
【0083】図6は、本発明の第1の異常陰影検出処理
システムの第6の実施形態を示すブロック図である。図
示の異常陰影検出処理システムは、図5に示した実施形
態の異常陰影検出処理システムに対して、第1の画像処
理手段50および第2の画像処理手段60に代えて、全体画
像情報Pに対して、観察読影に適した画像処理を施すた
めの画像処理条件(第1の画像処理条件)K1および関
心領域画像情報Wに対して、観察読影に適した画像処理
を施すための画像処理条件(第2の画像処理条件)K2
を設定する画像処理条件設定手段50′を備えた点が相違
し、また出力手段30が、上記(1′)〜(4′)のうち
いずれか1つに係る情報を出力するのに代えて、(1)
〜(4)のうちいずれか1つに係る情報と、各画像処理
条件K1およびK2とを出力するものである点が相違す
るのみである。
【0084】この実施形態の異常陰影検出処理システム
によれば、外部の画像表示端末機に、上記(1)〜
(4)のうちいずれか1つに係る情報とともに、各画像
処理条件K1およびK2が出力され、当該画像表示端末
機においては、入力されたこれらの画像処理条件K1,
K2にしたがって、または画像処理条件K1,K2を参
考にして独自に画像処理条件を設定して、入力された全
体画像Pや関心領域画像Wに対してそれぞれ画像処理を
施すことができ、またそのような画像処理を施して得ら
れた全体画像情報と関心領域画像情報とを、独自のレイ
アウトで表示することもできる。
【0085】このように本実施形態の異常陰影検出処理
システムによれば、外部の画像表示端末機で画像を読影
する読影者に対して、その読影者が画像表示端末機で試
行錯誤的に異常陰影の読影に適した処理を行うことがで
きる形式で画像情報を提供するため、読影性能の高い情
報を提供することができる。
【0086】なお、本実施形態の異常陰影検出処理シス
テムにおいても、図4に示したレイアウト画像作成手段
40や図3に示したレイアウト条件設定手段40′をさらに
備えた構成を適用することもできる。
【0087】さらに画像処理条件設定手段50′が、図5
に示した第1の画像処理手段50および第2の画像処理手
段60の機能を兼ね備えたものであってもよい。
【0088】図7は本発明の第2の異常陰影検出処理シ
ステムの第1の実施形態を示すブロック図である。図示
の異常陰影検出処理システムは、図2に示した本発明の
第1の異常陰影検出処理システムの第2実施形態に対し
て、出力手段30が、画像情報の出力先の種類Vに応じ
て、出力する画像情報の内容を異なるものとする出力手
段30′である点、およびその出力先の種類Vを判別する
出力先種類検出手段70をさらに備えた点が異なるもので
あり、画像情報の出力先が画像表示端末機である場合
と、レーザプリンタ等の画像印刷端末機である場合と
で、それぞれ適切な情報を出力するものである。
【0089】すなわち出力手段30′は、その出力先Vが
画像表示端末機であるときは、図2に示した実施形態と
同様に、画像表示端末機からの要求に応じて(1)〜
(4)のうちいずれか1つに係る情報とレイアウト画像
情報Lをそれぞれコンポーネントとして出力し、その出
力先Vが画像印刷端末機であるときは、レイアウト画像
情報Lを出力するものである。
【0090】出力先種類検出手段70は、出力を要求した
端末機(画像表示端末機または画像印刷端末機)を識別
してその種類Vを検出するものであってもよいし、オペ
レータ等がこの出力先種類検出手段70に出力先Vの指示
を入力したことによって検出するものであってもよい。
【0091】次に本実施形態の異常陰影検出処理システ
ムの作用について説明するが、出力手段30′に全体画像
情報P、関心領域画像情報W、検出結果情報N、レイア
ウト画像情報Lが入力されるまでの作用は、図2に示し
た実施形態と同様の作用であるため、説明を省略する。
【0092】出力先種類検出手段70は上述したいずれか
の方法またはその他の公知の方法により、画像情報の出
力先が画像表示端末機であるかまたは画像印刷端末機で
あるかを検出する。そして検出された出力先Vは出力手
段30′に入力される。
【0093】出力手段30′には既に全体画像情報P、関
心領域画像情報W、検出結果情報Nおよびレイアウト画
像情報Lが入力されているが、出力手段30′は前述した
各実施形態の出力手段30と同様に、入力された全体画像
情報Pと検出結果情報Nとに基づいて埋込全体画像情報
P0を作成し、出力先種類検出手段70から入力された出
力先Vが画像表示端末機であるときは、出力手段30′は
画像表示端末機からの要求に応じて、上記(1)〜
(4)のうちいずれか1つに係る情報およびレイアウト
画像情報Lをコンポーネントとして、画像表示端末機に
出力する。一方、出力先種類検出手段70から入力された
出力先Vが画像印刷端末機であるときは、出力手段30′
はこれらの各情報P,P0,W,N,Lのうちレイアウ
ト画像情報Lのみを画像印刷端末機に出力する。
【0094】この結果、フイルム等の媒体を無駄に消費
してしまう試行錯誤的な出力を行うことを予定していな
い画像印刷端末機に画像情報が出力されるときは、異常
陰影検出処理システムによるデフォルトのレイアウト画
像Lがフイルム等の媒体に出力される。一方、画像表示
端末機に出力されるときは、出力されたレイアウト画像
Lがデフォルトの画像として画像表示端末機に表示され
るが、この画像表示端末機で画像を読影する読影者が、
表示されたレイアウト画像Lのレイアウトに満足できな
い場合や、独自の画像処理を施したい場合には、コンポ
ーネントとして入力された全体画像情報P、関心領域画
像情報W、検出結果情報Nなどに基づいて、全体画像情
報Pや関心領域画像情報Wに独自の画像処理を施し、検
出結果情報Nおよびレイアウト画像情報Lを参考にし
て、独自のレイアウトで画像をその画像表示端末機に表
示させることができる。
【0095】このように本実施形態の異常陰影検出処理
システムによれば、出力先の種類に応じて、出力すべき
画像情報およびその他の情報を切り換えるため、出力媒
体の無駄な消費を抑制し、また画像表示端末機で画像を
読影する読影者に対して、その読影者が画像表示端末機
で試行錯誤的に異常陰影の読影に適した処理を行うこと
ができる形式で画像情報を提供するため、結果的に読影
性能の高い情報を提供することができる。
【0096】図8は本発明の第2の異常陰影検出処理シ
ステムの第2の実施形態を示すブロック図である。図示
の異常陰影検出処理システムは、図4に示した本発明の
第1の異常陰影検出処理システムの第4実施形態に対し
て、出力手段30が、画像情報の出力先の種類Vに応じ
て、出力する画像情報の内容を異なるものとする出力手
段30′である点、およびその出力先の種類Vを判別する
出力先種類検出手段70をさらに備えた点が異なる以外は
同様の構成である。
【0097】次に本実施形態の異常陰影検出処理システ
ムの作用について説明するが、出力手段30′に全体画像
情報P′、関心領域画像情報W′、検出結果情報N、レ
イアウト画像情報Lおよびレイアウト条件Cが入力され
るまでの作用は、図4に示した実施形態のシステムと同
様の作用であるため、説明を省略する。
【0098】出力先種類検出手段70は上述したいずれか
の方法またはその他の公知の方法により、画像情報の出
力先が画像表示端末機であるかまたは画像印刷端末機で
あるかを検出する。そして検出された出力先Vは出力手
段30′に入力される。
【0099】出力手段30′には既に画像処理が施された
全体画像情報P′、画像処理が施された関心領域画像情
報W′、検出結果情報N、およびレイアウト画像情報
L′が入力されているが、出力先種類検出手段70から入
力された出力先Vが画像表示端末機であるときは、出力
手段30′は画像表示端末機からの要求に応じて、
(1′)から(4′)のうちいずれか1つに係る情報お
よびレイアウト画像情報L′をコンポーネントとして、
画像表示端末機に出力する。
【0100】一方、出力先種類検出手段70から入力され
た出力先Vが画像印刷端末機であるときは、出力手段3
0′はこれらの情報P′,P0′,W′,N,L′のう
ちレイアウト画像情報L′のみを画像印刷端末機に出力
する。
【0101】この結果、フイルム等の媒体を無駄に消費
してしまう試行錯誤的な出力を行うことを予定していな
い画像印刷端末機に出力されるときは、異常陰影検出処
理システムによるデフォルトのレイアウト画像L′がフ
イルム等の媒体に出力される。一方、画像表示端末機に
出力されるときは、出力されたレイアウト画像L′がデ
フォルトの画像として画像表示端末機に表示されるが、
この画像表示端末機で画像を読影する読影者が、表示さ
れたレイアウト画像L′のレイアウトに満足できない場
合や、独自の画像処理を施したい場合等には、コンポー
ネントとして入力された全体画像情報P′、関心領域画
像情報W′、検出結果情報Nに基づいて、全体画像情報
P′や関心領域画像情報W′を、独自のレイアウトでそ
の画像表示端末機に表示させることができる。
【0102】このように本実施形態の異常陰影検出処理
システムによれば、出力先の種類に応じて、出力すべき
画像情報およびその他の情報を切り換えるため、出力媒
体の無駄な消費を抑制し、また画像表示端末機で画像を
読影する読影者に対して、その読影者が画像表示端末機
で試行錯誤的に異常陰影の読影に適した処理を行うこと
ができる形式で画像情報を提供するため、結果的に読影
性能の高い情報を提供することができる。
【0103】なお、図7または8に示した本発明の第2
の異常陰影検出処理システムの実施形態においては、図
1から図6に示した本発明の第1の異常陰影検出処理シ
ステムの実施形態と同様に、レイアウト画像作成手段40
に代えて、レイアウト条件設定手段40′を備えた構成
や、レイアウト画像作成手段40およびレイアウト条件設
定手段40′のいずれも備えない構成、画像処理手段50,
60に代えて画像処理条件設定手段50′を備えた構成等を
適用することもでき、これらの各構成による実施形態の
異常陰影検出システムによっても上記各実施形態のシス
テムと同様の効果を得ることができる。
【0104】図10は本発明の画像表示端末機の一実施形
態の構成を示すブロック図である。図示の画像表示端末
機 100は、上述した本発明の異常陰影検出処理システム
の各実施形態から入力された画像情報を可視画像として
表示する画像表示端末機であって、異常陰影検出処理シ
ステムから入力された全体画像情報Pまたは埋込全体画
像情報P0と、関心領域画像情報Wとを、所望とするレ
イアウトで配置してレイアウト画像L″を作成し、また
は異常陰影検出処理システムから入力されたレイアウト
条件Cにしたがってレイアウト画像Lを作成するレイア
ウト画像作成手段 110を備え、このレイアウト画像作成
手段 110により作成されたレイアウト画像L″若しくは
L、またはコンポーネントとして異常陰影検出処理シス
テムから入力された上記(1)から(4)のうちいずれ
か1つに係る情報を表示する表示部 120を備えたもので
ある。
【0105】この実施形態の画像表示端末機 100によれ
ば、レイアウト画像作成手段 110により、入力された画
像情報に基づいて自由にレイアウト画像L″を作成した
り、または入力されたレイアウト条件Cにしたがってレ
イアウト画像Lを作成することができ、この画像表示端
末機 100の表示部 120に表示される画像を観察読影する
医師等の各オペレータごとの嗜好に適合させることがで
きる。
【0106】図11は図10に示した画像表示端末機 100に
対して、さらに、異常陰影検出処理システムから入力さ
れた画像情報に対して所望とする画像処理条件で画像処
理を施し、または全体画像情報Pまたは埋込全体画像情
報P0に対して異常陰影検出処理システムから入力され
た画像処理条件K1にしたがって画像処理を施すととも
に関心領域画像情報Wに対して異常陰影検出処理システ
ムから入力された画像処理条件K2にしたがって画像処
理を施す画像処理手段 130を備えた構成の画像表示端末
機を示す図である。
【0107】図示の画像表示端末機 100によれば、異常
陰影検出処理システムからコンポーネントとして入力さ
れた全体画像情報P、埋込全体画像情報P0や、関心領
域画像情報W等に対して、画像処理手段 130により、オ
ペレータが自由に画像処理を施し、または入力された処
理条件K1,K2にしたがって画像処理を施すこともで
き、各観察読影者に適した観察用画像を表示部 120に表
示させることができる。
【0108】また、異常陰影検出処理システムから画像
処理済の全体画像情報P′等およびその画像処理条件K
1等が入力された場合であって、異常陰影検出処理シス
テムで処理された画像処理の内容に観察読影者が不満足
である場合には、入力された画像処理条件K1等および
画像処理済の全体画像情報P′等に基づいて、画像処理
手段 130により逆画像処理を施して画像処理前の全体画
像情報P等を得、この画像処理前の状態に戻された全体
画像情報P等に対して、改めて独自の画像処理を施すこ
ともでき、この点からも、観察画像の読影性能を向上さ
せることができる。
【図面の簡単な説明】
【図1】本発明の第1の異常陰影検出処理システムの第
1の実施形態を示すブロック図
【図2】本発明の第1の異常陰影検出処理システムの第
2の実施形態を示すブロック図
【図3】本発明の第1の異常陰影検出処理システムの第
3の実施形態を示すブロック図
【図4】本発明の第1の異常陰影検出処理システムの第
4の実施形態を示すブロック図
【図5】本発明の第1の異常陰影検出処理システムの第
5の実施形態を示すブロック図
【図6】本発明の第1の異常陰影検出処理システムの第
6の実施形態を示すブロック図
【図7】本発明の第2の異常陰影検出処理システムの第
1の実施形態を示すブロック図
【図8】本発明の第2の異常陰影検出処理システムの第
2の実施形態を示すブロック図
【図9】画像表示端末機に表示される全体画像と関心領
域画像とのレイアウトの一例を示す図
【図10】本発明の画像表示端末機の一実施形態を示す
ブロック図
【図11】本発明の画像表示端末機の他の実施形態を示
すブロック図
【符号の説明】
10 異常陰影検出手段 20 関心領域設定手段 30 ,30′出力手段 40 レイアウト画像作成手段 40′ レイアウト条件設定手段 50 ,60 画像処理手段 50′ 画像処理条件設定手段 70 出力先種類検出手段

Claims (16)

    【特許請求の範囲】
  1. 【請求項1】 入力された全体画像情報に基づいて該全
    体画像情報が表す全体画像中の異常陰影を検出処理する
    異常陰影検出手段と、 前記検出処理された異常陰影および該異常陰影の近傍領
    域からなる局所領域を関心領域画像として設定する関心
    領域設定手段と、 下記(1)から(4)のうちいずれか1つに係る情報
    を、外部の画像表示端末機に出力する出力手段とを備え
    たことを特徴とする異常陰影検出処理システム。 (1)前記全体画像情報と前記異常陰影検出手段により
    検出された異常陰影の検出結果に関する検出結果情報 (2)前記(1)に掲げる2つの情報と前記関心領域画
    像を表す関心領域画像情報 (3)前記全体画像中に前記異常陰影の検出結果を埋め
    込んだ埋込全体画像を表す埋込全体画像情報 (4)前記埋込全体画像情報と前記関心領域画像情報
  2. 【請求項2】 前記全体画像または前記埋込全体画像
    と、前記関心領域画像とを、所定のレイアウトで配置し
    たレイアウト画像を作成するレイアウト画像作成手段を
    さらに備え、 前記出力手段が、前記外部の画像表示端末機に出力され
    る情報とともに、前記レイアウト画像作成手段により作
    成された前記レイアウト画像を表すレイアウト画像情報
    を、前記画像表示端末機に出力するものであることを特
    徴とする請求項1記載の異常陰影検出処理システム。
  3. 【請求項3】 前記全体画像または前記埋込み全体画像
    と前記関心領域画像とにより所定のレイアウト画像を作
    成するためのレイアウト条件を設定するレイアウト条件
    設定手段をさらに備え、 前記出力手段が、前記(2)または(4)のうちいずれ
    か一方に係る情報を前記外部の画像表示端末機に出力す
    る場合には、該出力手段は、前記一方に係る情報ととも
    に、前記レイアウト条件設定手段により設定されたレイ
    アウト条件を、前記画像表示端末機に出力するものであ
    ることを特徴とする請求項1記載の異常陰影検出処理シ
    ステム。
  4. 【請求項4】 前記全体画像情報または前記埋込全体画
    像情報に対して第1の画像処理を施す第1の画像処理手
    段と、 前記関心領域画像情報に対して第2の画像処理を施す第
    2の画像処理手段とをさらに備え、 前記レイアウト画像を形成する前記全体画像または前記
    埋込全体画像が、前記第1の画像処理を施された後の全
    体画像または埋込全体画像であり、前記レイアウト画像
    を形成する前記関心領域画像が、前記第2の画像処理が
    施された後の関心領域画像であり、 前記出力手段により出力される前記全体画像情報または
    前記埋込全体画像情報が、前記第1の画像処理を施され
    た後の全体画像情報または埋込全体画像情報であり、前
    記出力手段により出力される前記関心領域画像情報が、
    前記第2の画像処理を施された後の関心領域画像情報で
    あことを特徴とする請求項2記載の異常陰影検出処理シ
    ステム。
  5. 【請求項5】 前記全体画像情報または前記埋込全体画
    像情報に対して第1の画像処理を施す第1の画像処理手
    段と、 前記関心領域画像情報に対して第2の画像処理を施す第
    2の画像処理手段とをさらに備え、 前記出力手段により出力される前記全体画像情報または
    前記埋込全体画像情報が、前記第1の画像処理を施され
    た後の全体画像情報または前記埋込画像情報であり、前
    記出力手段により出力される前記関心領域画像情報が、
    前記第2の画像処理を施された後の関心領域画像情報で
    あることを特徴とする請求項1または3記載の異常陰影
    検出処理システム。
  6. 【請求項6】 前記全体画像情報または前記埋込全体画
    像情報に対して施す第1の画像処理の処理条件および前
    記関心領域画像情報に対して施す第2の画像処理の処理
    条件をそれぞれ設定する画像処理条件設定手段をさらに
    備え、 前記出力手段が、前記外部の画像表示端末機に出力され
    る情報とともに、前記画像処理条件設定手段により設定
    された前記第1の画像処理の処理条件および前記第2の
    画像処理の処理条件を、前記画像表示端末機に出力する
    ものであることを特徴とする請求項1から5のうちいず
    れか1項に記載の異常陰影検出処理システム。
  7. 【請求項7】 入力された全体画像情報に基づいて該全
    体画像情報が表す全体画像中の異常陰影を検出処理する
    異常陰影検出手段と、 前記検出処理された異常陰影および該異常陰影の近傍領
    域からなる局所領域を関心領域画像として設定する関心
    領域設定手段と、 外部への出力先の種類を検出する出力先種類検出手段
    と、 前記検出された出力先が画像表示端末機であるときは、
    下記(1)から(4)のうちいずれか1つに係る情報を
    該画像表示端末機に出力し、前記検出された出力先が画
    像印刷端末機であるときは、下記(3)または(4)の
    うちいずれか一方に係る情報を該画像印刷端末機に出力
    する出力手段とを備えたことを特徴とする異常陰影検出
    処理システム。 (1)前記全体画像情報と前記異常陰影検出手段により
    検出された異常陰影の検出結果に関する検出結果情報 (2)前記(1)に掲げる2つの情報と前記関心領域画
    像を表す関心領域画像情報 (3)前記全体画像中に前記異常陰影の検出結果を埋め
    込んだ埋込全体画像を表す埋込全体画像情報 (4)前記埋込全体画像情報と前記関心領域画像情報
  8. 【請求項8】 前記全体画像または前記埋込全体画像
    と、前記関心領域画像とを、所定のレイアウトで配置し
    たレイアウト画像を作成するレイアウト画像作成手段を
    さらに備え、 前記出力手段が、前記外部の画像表示端末機または前記
    外部の画像印刷端末機に出力される情報とともに、前記
    レイアウト画像作成手段により作成された前記レイアウ
    ト画像を表すレイアウト画像情報を出力するものである
    ことを特徴とする請求項7記載の異常陰影検出処理シス
    テム。
  9. 【請求項9】 前記全体画像または前記埋込み全体画像
    と前記関心領域画像とにより所定のレイアウト画像を作
    成するためのレイアウト条件を設定するレイアウト条件
    設定手段をさらに備え、 前記検出された出力先が前記画像表示端末機であって、
    前記出力手段が、前記(2)または(4)のうちいずれ
    か一方に係る情報を該画像表示端末機に出力する場合に
    は、該出力手段は、前記画像表示端末機に出力される情
    報とともに、前記レイアウト条件設定手段により設定さ
    れたレイアウト条件を該画像表示端末機に出力するもの
    であることを特徴とする請求項7記載の異常陰影検出処
    理システム。
  10. 【請求項10】 前記全体画像情報または前記埋込全体
    画像情報に対して第1の画像処理を施す第1の画像処理
    手段と、 前記関心領域画像情報に対して第2の画像処理を施す第
    2の画像処理手段とをさらに備え、 前記レイアウト画像を形成する前記全体画像または前記
    埋込全体画像が、前記第1の画像処理を施された後の全
    体画像または埋込全体画像であり、前記レイアウト画像
    を形成する前記関心領域画像が、前記第2の画像処理が
    施された後の関心領域画像であり、 前記出力手段により出力される前記全体画像情報または
    前記埋込全体画像情報が、前記第1の画像処理を施され
    た後の全体画像情報または前記埋込全体画像情報であ
    り、前記出力手段により出力される前記関心領域画像情
    報が、前記第2の画像処理を施された後の関心領域画像
    情報であることを特徴とする請求項8記載の異常陰影検
    出処理システム。
  11. 【請求項11】 前記全体画像情報または前記埋込全体
    画像情報に対して第1の画像処理を施す第1の画像処理
    手段と、 前記関心領域画像情報に対して第2の画像処理を施す第
    2の画像処理手段とをさらに備え、 前記出力手段により出力される前記全体画像情報または
    前記埋込全体画像情報が、前記第1の画像処理を施され
    た後の全体画像情報または前記埋込全体画像情報であ
    り、前記出力手段により出力される前記関心領域画像情
    報が、前記第2の画像処理を施された後の関心領域画像
    情報であることを特徴とする請求項7または9記載の異
    常陰影検出処理システム。
  12. 【請求項12】 前記全体画像情報または前記埋込全体
    画像情報に対して施す第1の画像処理の処理条件および
    前記関心領域画像情報に対して施す第2の画像処理の処
    理条件をそれぞれ設定する画像処理条件設定手段をさら
    に備え、 前記検出された出力先が前記画像表示端末機であるとき
    は、前記出力手段が、前記画像表示端末機に出力される
    情報とともに、前記第1の画像処理を規定する第1の画
    像処理条件および第2の画像処理を規定する第2の画像
    処理条件を、前記画像表示端末機に出力するものである
    ことを特徴とする請求項7から11のうちいずれか1項
    に記載の異常陰影検出処理システム。
  13. 【請求項13】 前記異常陰影検出手段が、画像の濃度
    勾配の集中度の高い画像部分を異常陰影として検出する
    アイリスフィルタを利用した異常陰影検出手段および/
    または、用いる多重構造要素よりも空間的に狭い範囲で
    濃度変動する画像部分を異常陰影として検出するモフォ
    ロジフィルタを利用した異常陰影検出手段であることを
    特徴とする請求項1から12のうちいずれか1項に記載
    の異常陰影検出処理システム。
  14. 【請求項14】 前記異常陰影検出手段による異常陰影
    検出処理の対象となる被写体に係る画像情報が、乳房に
    係る画像情報であることを特徴とする請求項1から13
    のうちいずれか1項に記載の異常陰影検出処理システ
    ム。
  15. 【請求項15】 請求項1から7のうちいずれか1項に
    記載の異常陰影検出処理システムから入力された画像情
    報を可視画像として表示する画像表示端末機において、 前記異常陰影検出処理システムから入力された前記全体
    画像情報または前記埋込全体画像情報と、前記関心領域
    画像情報とを、所望とするレイアウトで配置してレイア
    ウト画像を作成し、または前記異常陰影検出処理システ
    ムから入力されたレイアウト条件にしたがってレイアウ
    ト画像を作成するレイアウト画像作成手段を備え、該レ
    イアウト画像作成手段により作成されたレイアウト画像
    を表示しうることを特徴とする画像表示端末機。
  16. 【請求項16】 前記異常陰影検出処理システムから入
    力された画像情報に対して所望とする画像処理条件で画
    像処理を施し、または前記全体画像情報または前記埋込
    全体画像情報に対して前記異常陰影検出処理システムか
    ら入力された前記第1の画像処理の処理条件にしたがっ
    て画像処理を施すとともに前記関心領域画像情報に対し
    て前記異常陰影検出処理システムから入力された前記第
    2の画像処理の処理条件にしたがって画像処理を施す画
    像処理手段をさらに備えたことを特徴とする請求項15
    記載の画像表示端末機。
JP11179922A 1998-08-25 1999-06-25 異常陰影検出処理システムおよび画像表示端末機 Pending JP2000137793A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP11179922A JP2000137793A (ja) 1998-08-25 1999-06-25 異常陰影検出処理システムおよび画像表示端末機
US09/382,804 US6418237B1 (en) 1998-08-25 1999-08-25 Abnormal pattern detection processing method and system and image display terminal

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP10-238736 1998-08-25
JP23873698 1998-08-25
JP11179922A JP2000137793A (ja) 1998-08-25 1999-06-25 異常陰影検出処理システムおよび画像表示端末機

Publications (1)

Publication Number Publication Date
JP2000137793A true JP2000137793A (ja) 2000-05-16

Family

ID=26499623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11179922A Pending JP2000137793A (ja) 1998-08-25 1999-06-25 異常陰影検出処理システムおよび画像表示端末機

Country Status (2)

Country Link
US (1) US6418237B1 (ja)
JP (1) JP2000137793A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005095504A (ja) * 2003-09-26 2005-04-14 Konica Minolta Medical & Graphic Inc 医用画像診断支援システム
JP2005176990A (ja) * 2003-12-17 2005-07-07 Konica Minolta Medical & Graphic Inc 医用画像処理システム
JP2010194261A (ja) * 2009-02-27 2010-09-09 Toshiba Corp X線撮影装置及びx線画像処理方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1602056A2 (en) * 2003-03-11 2005-12-07 Siemens Medical Solutions USA, Inc. Computer-aided detection systems and methods for ensuring manual review of computer marks in medical images
JP2005334298A (ja) * 2004-05-27 2005-12-08 Fuji Photo Film Co Ltd 異常陰影検出方法および装置並びにプログラム
US7386155B2 (en) * 2004-11-22 2008-06-10 Carestream Health, Inc. Transforming visual preference terminology for radiographic images
US7738683B2 (en) * 2005-07-22 2010-06-15 Carestream Health, Inc. Abnormality detection in medical images
US8571280B2 (en) * 2010-02-22 2013-10-29 Canon Kabushiki Kaisha Transmission of medical image data

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5319549A (en) * 1992-11-25 1994-06-07 Arch Development Corporation Method and system for determining geometric pattern features of interstitial infiltrates in chest images
JPH08263641A (ja) * 1995-01-23 1996-10-11 Fuji Photo Film Co Ltd アイリスフィルターの演算方法
DE69629732T2 (de) 1995-01-23 2004-07-15 Fuji Photo Film Co., Ltd., Minami-Ashigara Vorrichtung zur rechnerunterstützten Diagnose
US5790690A (en) * 1995-04-25 1998-08-04 Arch Development Corporation Computer-aided method for automated image feature analysis and diagnosis of medical images
US5776063A (en) * 1996-09-30 1998-07-07 Molecular Biosystems, Inc. Analysis of ultrasound images in the presence of contrast agent

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005095504A (ja) * 2003-09-26 2005-04-14 Konica Minolta Medical & Graphic Inc 医用画像診断支援システム
JP2005176990A (ja) * 2003-12-17 2005-07-07 Konica Minolta Medical & Graphic Inc 医用画像処理システム
JP2010194261A (ja) * 2009-02-27 2010-09-09 Toshiba Corp X線撮影装置及びx線画像処理方法

Also Published As

Publication number Publication date
US6418237B1 (en) 2002-07-09

Similar Documents

Publication Publication Date Title
US9019301B2 (en) Medical image display apparatus in which specification of a medical image enables execution of image processing
KR101470411B1 (ko) 가상 환자 모델을 이용한 의료 영상 디스플레이 방법 및 그 장치
US8860714B2 (en) Apparatus and method for generating stereoscopic viewing image based on three-dimensional medical image, and a computer readable recording medium on which is recorded a program for the same
EP1568322B1 (en) Computer-aided diagnostic apparatus
Le Moal et al. Three-dimensional computed tomography reconstruction for operative planning in robotic segmentectomy: a pilot study
JP6318739B2 (ja) 画像処理装置、およびプログラム
US20090141859A1 (en) Image Handling and Display in X-Ray Mammography and Tomosynthesis
US9563979B2 (en) Apparatus and method for registering virtual anatomy data
US20020032375A1 (en) Method and system for visualizing a body volume and computer program product
JP5877833B2 (ja) 多重画像の融合
US9939508B2 (en) Medical image processing apparatus, magnetic resonance imaging apparatus, medical image processing method and magnetic resonance imaging method
US10188361B2 (en) System for synthetic display of multi-modality data
US20140347389A1 (en) Medical image display apparatus
JP2005169118A (ja) 断層画像データのセグメント化方法および画像処理システム
JP2008188177A (ja) 画像処理装置
JP7224857B2 (ja) 放射線撮影システム、放射線撮影方法、制御装置及びプログラム
JPH0737056A (ja) 医用診断支援装置
CN107633478B (zh) 图像处理装置、图像处理方法以及计算机可读介质
JP2000137793A (ja) 異常陰影検出処理システムおよび画像表示端末機
US20200175756A1 (en) Two-dimensional to three-dimensional spatial indexing
US8933926B2 (en) Image processing apparatus, method, and program
EP2994845B1 (en) Image visualization
JP5398791B2 (ja) 医用画像表示装置
JP7094691B2 (ja) 放射線撮影システム、放射線撮影方法、制御装置及びプログラム
JP2006262975A (ja) 医用画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040823

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080325