JP2005027168A

JP2005027168A - Image processor and image processing method

Info

Publication number: JP2005027168A
Application number: JP2003192159A
Authority: JP
Inventors: Bokuryo Kaku; 睦凌郭; Makoto Sato; 真佐藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-07-04
Filing date: 2003-07-04
Publication date: 2005-01-27

Abstract

<P>PROBLEM TO BE SOLVED: To stably match the gradation characteristics of two images regarding the image processing suitable for processing for performing gradation matching of the images to be a target of differential processing, etc. in a CAD (computer aided diagnosis) technology of a radiographic picture, etc. <P>SOLUTION: In the case of performing the gradation matching of the first and second images inputted by an image input part 1, a histogram calculation part 2 calculates the histograms corresponding to the first and second images respectively and indicating the number of pixels for each luminance level. A zone division part 3 divides each of the histograms into a plurality of zones with the same number. A zone average calculation part 4 calculates an average of luminance levels of each zone obtained by the zone division part 3 and a relating part 5 makes calculated average luminance levels of the zones of the first and second images correspond to each other. An interpolation interpolation part 6 generates correspondence information of the luminance levels of the first and second images by interpolating their correspondence relation, an image conversion part 7 performs gradation conversion of the second image by using the correspondence information and displays the converted second image on an image display part 8. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理技術に関する。特に、放射線画像のＣＡＤ（コンピュータ支援診断：ＣｏｍｐｕｔｅｒＡｉｄｅｄＤｉａｇｎｏｓｉｓ）技術等において、差分処理等の対象となる画像の階調合せを行う処理に好適な画像処理に関する。
【０００２】
【従来の技術】
放射線画像診断分野において、比較読影は異なる時点で撮影された２つの画像を比べて、現在画像と過去画像の違いを見出し、病変の早期発見及び病変治癒または悪化の進行状況を把握するものであり、診療上有効な手段である。また、近年、比較読影を支援するために、経時差分ＣＡＤ技術が実用化されつつある。経時差分ＣＡＤ技術は、異なる時点で撮影された２つの画像より、骨や血管などの両画像に共通した画像部分を取り除き、病巣等の変化分だけの画像部分を抽出する。これにより、正常構造に隠された病巣の早期検出、病変の見逃しの防止、読影業務の迅速化が期待できる。
【０００３】
しかしながら、比較される２つの画像は異なる時点で撮影されたものであるため、撮影時のパラメータ変更または被検者の姿勢変化などにより、輝尽性蛍光体シートまたは半導体Ｘ線センサで得られた２つの画像の階調特性は異なる。比較読影を行う際、これらの階調特性差は正確な比較判断の妨げとなる。また、経時差分を行う際は、これらの階調特性差が差分画像に反映されるので、誤った情報が医師に提供され、例えば肺炎、肺膿瘍などの病変の変化範囲を正確に描出できなくなってしまう。したがって、簡単な処理で上述した階調特性差を安定して補正する方法が望まれる。
【０００４】
そこで、特許文献１では、第１画像と第２画像のヒストグラムを合わせることにより両画像の階調特性差を一致させることが提案されている。特許文献１では、以下の式（１）を用いて、図８（ａ）の第１画像のヒストグラムを図８（ｃ）の平坦化したヒストグラムに変換する第１画像の階調変換テーブルをつくる。なお、式（１）では、ヒストグラムの累積頻度を全体画素数で割って、現輝度レベルを原画像のダイナミックレンジの中で新輝度レベルにマッピングすることにより、平坦化テーブルを生成している。
【０００５】
【数１】

【０００６】
なお、上記式（１）において、ｈ（ｉ）は画像のヒストグラムであり、Ｍ０は画素の最小値、Ｍ１は画素の最大値を表し、さらに、入力データのビット数と出力データのビット数を同じものとしている。
【０００７】
第１画像の平坦化ヒストグラムは第２画像の平坦化ヒストグラムと似ており、第２画像の平坦化ヒストグラムから、第１画像の階調変換テーブルの逆変換テーブルを使って変換すれば、第１画像のヒストグラムにあわせた第２画像のヒストグラムを作成できる。
【０００８】
そこで、特許文献１では、作成された第１画像の階調変換テーブルの逆変換テーブルと第２画像の階調変換テーブルを結合することにより、第２画像の階調を第１画像の階調に合わせる結合変換テーブルを生成する。生成された結合変換テーブルを図８（ｆ）に示す。そして、第２画像のヒストグラムを第１画像のヒストグラムに合わせることにより、即ち第２画像を結合変換テーブルを用いて階調変換することにより両画像の階調特性を一致させる。
【０００９】
【特許文献１】
特開平１１−０９６３５２号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、上述した方法によれば、暗い画像を明るい画像に変換する場合、暗い画像の平坦化階調変換テーブルを作成する際、より小さい画素値で、最大の輝度レベルに達成している。例えば、図８（ｄ）に示すように、第２画像は原画素値の２２００の付近において変換テーブルの特性は横ばいになり、それ以降の変換後画素値は４０００強に止まってほとんど変わらない。一方、第１画像の逆変換テーブル（図８（ｂ）に示す変換テーブルの逆変換テーブル）では、画素値（図８（ｂ）の縦軸）が４０００弱あたりで変換値（図８（ｂ）の横軸）が急激に増加する領域となる。このため、生成される結合変換テーブルは、図８（ｆ）に示されるように２２００弱の値から急激に増加する。実際の胸部Ｘ線写真では、肺野のところに２２００より大きい画素が多少存在するため、図８（ｆ）に示す結合変換テーブルを用いて変換すると、肺野部に複数の白い島が出現し、診断の妨害となる。
【００１１】
本発明は上記の課題に鑑みてなされたものであり、原画像の階調特性によらず、安定して画像間の階調特性をあわせることを目的とする。
【００１２】
【課題を解決するための手段】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
第１画像と第２画像の階調合せを行う画像処理装置であって、
前記第１画像と前記第２画像の各々に対応した、輝度レベル毎の画素数を示すヒストグラムを、それぞれ同数の複数区間に分割する分割手段と、
前記分割手段で得られた各区間の輝度レベルの平均値を算出する算出手段と、
前記算出手段で得られた前記第１と第２画像の各区間の平均輝度レベルを対応付け、その対応関係を補間して該第１画像と該第２画像の輝度レベルの対応情報を生成する生成手段とを備える。
【００１３】
また、上記の目的を達成するための本発明による画像処理方法は、
第１画像と第２画像の階調合せを行うための画像処理方法であって、
前記第１画像と前記第２画像の各々に対応した、輝度レベル毎の画素数を示すヒストグラムを、それぞれ同数の複数区間に分割する分割工程と、
前記分割工程で得られた各区間の輝度レベルの平均値を算出する算出工程と、
前記算出工程で得られた前記第１と第２画像の各区間の平均輝度レベルを対応付け、その対応関係を補間して該第１画像と該第２画像の輝度レベルの対応情報を生成する生成工程とを備える。
【００１４】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施形態を説明する。
【００１５】
＜第１実施形態＞
図１は第１実施形態による画像階調合せ装置の機能構成を示すブロック図である。なお、第１実施形態の画像階調合せ装置は、図１に示す機能を実現する専用の装置であってもよいし、汎用のコンピュータに後述の処理を実行させる制御プログラムを提供して実現させてもよい。また、図１に示す各機能ブロックはハードウエアで実現してもソフトウエアで実現してもよい。或いはハードウエアとソフトエアの協働により実現してもよい。
【００１６】
図１において、１は画像入力部であり、不図示の画像蓄積部から２枚のディジタル画像（以下、第１画像、第２画像ともいう）を読み出す。例えば、異なる時点で撮影された同一被検者の２枚のディジタル画像が読み出される。２はヒストグラム計算部であり、画像入力部２で読み出した２枚のディジタル画像のそれぞれのヒストグラムを計算する。
【００１７】
３は区間分割部であり、上記２枚のディジタル画像のヒストグラムをあらかじめ決められた区間数の区間に分割する。第１実施形態では、各区間が同一の画素数となるように振り分ける。また、区間数は、図３により後述する平均輝度対応テーブルの生成において、最小自乗誤差法などによって十分な精度で補間できるサンプリングレートとする。本実施形態では。経験値として、区間数を１６とする。例えば、２枚のディジタル画像のサイズを６７２×６７２とし、区間数を１６とすれば、各区間の画素数は２８２２４となる。区間分割部３は、画素値０から２８２２４個の画素毎にヒストグラムを分割していく。図２に示すように、区間の終点における画素値の画素数の全てを当該区間に振り分けきれない場合は、余剰の画素数を次の区間に振り分ける。従って、第１実施形態では、各区間の終点と次の区間の始点が重複する場合もある。
【００１８】
４は区間平均値計算部であり、２枚のディジタル画像のそれぞれについて区間分割部３で得られた各区間の輝度平均値を計算する。輝度平均値は、例えば、当該区間内に存在する輝度レベルがＹ（ｎ）（ｎ＝ａ〜ｂ）であり、各輝度レベルＹ（ｎ）の画素数がＭ（ｎ）、当該区間内の画素数をＮとした場合に、
【数２】

で求めることができる。
【００１９】
５は関連付け部であり、図３に示すように、区間平均値計算部４で計算した第１画像と第２画像の各区間平均輝度レベルをそれぞれ縦軸と横軸とし、対応関係のテーブルを作成する。６は内挿補間部であり、関連付け部５で作成した対応関係のテーブルを最小自乗誤差法を用いて多項式で補間し、第２画像の階調特性から第１画像の階調特性への階調変換テーブルを作成する。７は画像変換部であり、諧調変換テーブルを用いて第２画像の輝度変換を行いって第１画像に階調特性をあわせ、変換された第２画像を画像表示部８で表示する。
【００２０】
以上の構成を備えた第１実施形態の画像階調合せ装置の動作について図４のフローチャートを参照して説明する。
【００２１】
まず、ステップＳ１０１において、画像入力部１は第１画像と第２画像を不図示の画像蓄積部からロードする。ステップＳ１０２において、ヒストグラム計算部２は、ロードされた第１及び第２画像について、各輝度レベルの出現回数をカウントし、それぞれのヒストグラムを計算する。
【００２２】
次に、ステップＳ１０３〜Ｓ１０９において、区間分割部３は両画像のヒストグラムを同一画素数の区間に分割する。まず、ステップＳ１０３において、現在処理している区間の番号（以下、区間ナンバという。本実施形態では１〜１６のいずれかとなる。）が所定の区間数（本実施形態では１６）以下か判定し、区間ナンバが所定の区間数以下であればステップＳ１０４に進む。区間ナンバが所定の区間数を超える場合は、ステップＳ１１０に進む。
【００２３】
ステップＳ１０４では、区間の始点及び画素数を初期化する。より具体的には、区間の始点の初期化では、前区間に割り切れない画素数がある場合には本区間の始点を前区間の終点における輝度レベルとし、前区間に割り切れない画素数がない場合には本区間の始点を前区間の終点の輝度レベルの次の輝度レベル（一般には前の輝度レベルに１を増した輝度レベル）とする。なお、最初の区間の場合、区間の始点の輝度は０である。また、区間の画素数の初期化では、前区間に割り切れない画素数がある場合には本区間の画素数の初期値を残りの画素数とし（後述のステップＳ１０８で取得される）、前区間に割り切れない画素数がない場合には本区間の画素数の初期値を０とする。
【００２４】
ステップＳ１０５では、現在処理している区間における画素数が所定の画素数（本実施形態では２８２２４）より小さいか否かを判定し、ＹＥＳであればステップＳ１０６へ進み、次の輝度レベルの画素数を当該区間における画素数に加算する。こうして、現在処理している区間における画素数が所定の画素数と等しいかそれよりも大きくなった場合は、ステップＳ１０５からステップＳ１０７へ進む。現在処理している区間における画素数が所定の画素数と等しい場合は、ステップＳ１０７からステップＳ１０９へ進み、次の区間について処理をすべく区間ナンバを一つ増加する。現在処理している区間における画素数が所定の画素数より大きい場合は、ステップＳ１０８に進み、本区間に振り分けきれない余剰の画素数を次の区間に振り分ける。
【００２５】
区間分割部３により処理が終了すると、即ち、区間ナンバが所定の区間数より大きくなった場合、処理はステップＳ１１０へ進む。ステップＳ１１０では、区間平均値計算部４が、各区間に属する輝度レベルと頻度により区間毎の平均輝度レベルを計算する。そして、ステップＳ１１１において、関連付け部５は計算された第１画像と第２画像の各区間の平均輝度レベルを関連付けて対応関係表を生成する。ステップＳ１１２において、内挿補間部６は、最小自乗誤差法などを用いることにより、多項式で上記対応関係表を補間し、図３に示すような第１と第２画像の各輝度レベルの対応関係テーブルを生成する。なお、本実施形態では、前記対応関係を１次〜４次の多項式で近似して、最も誤差の少ないものを選択する、言い換えれば、最大多項式次数を４とする。ステップＳ１１３では、画像変換部７が上記で求めた対応関係テーブルを用いて第２画像の輝度を変換する。
【００２６】
以上のような第１実施形態の階調合せによれば、２つの画像の階調特性を精度よく合せることが可能となる。特に、両画像の各区間の平均輝度を一致させるので、両画像の僅かな階調特性差を補正できる。また、こうして得られた、階調特性が合わせられた２つの画像の差分画像により、正確な比較読影がより容易となる。
【００２７】
＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態と第１実施形態との違いは、区間分割部３による、画像の所定区間数への分割処理方法にある。即ち、第２実施形態の階調合せ装置装置の機能構成は図１に示したとおりであるが、区間分割部３の処理が異なる。以下、第１実施形態との相違点を主として、第２実施形態について説明する。
【００２８】
第２実施形態において、区間分割部３は、図５に示すように、まず、所定の画素数をターゲットとしてヒストグラムをほぼ等画素数の区間に分割する。例えば、第１実施形態と同様にデジタル画像のサイズを６７２×６７２とした場合に、上記所定の画素数を２８２２４とする。第１実施形態とは異なり、各区間毎に所定の画素数を越えるところの輝度レベルを終点とする。分割によって得られる各区間の始点及び終点は重複しない。
【００２９】
次に、図６に示すように、分割された両ヒストグラムの区間数を比較し、区間数に差がある場合は、区間数の多いヒストグラムにおいてその末尾から余剰の区間を前の区間に統合または削除する。例えば、図６では（ｂ）のヒストグラムの区間数が（ａ）よりも１つ多くなっており、最後の区間（ｎ＋１）は直前の区間（ｎ）に統合されるか、削除されることになる。
【００３０】
以下、第２実施形態による階調合せの処理手順を図７のフローチャートを参照して説明する。
【００３１】
まずステップＳ２０１において、画像入力部１は第１及び第２画像を画像蓄積部からロードする。ステップＳ２０２において、ヒストグラム計算部２は、ロードされた第１及び第２画像について各輝度レベルの出現回数をカウントし、それぞれのヒストグラムを計算する。
【００３２】
ステップＳ２０３〜ステップＳ２０８において、区間分割部３は両画像のヒストグラムを同一数の区間に分割する。なお、各区間がほぼ同じ画素数を有するように分割が行なわれる。
【００３３】
まず、ステップＳ２０３において、全画素数について区間分割を終えたか否かが判定される。全画素数について処理を終えていなければステップＳ２０４へ進み、区間始点を初期化する。処理対象の区間が最初の区間の場合には輝度レベル０が本区間の始点に設定され、他の場合は前区間の終点の輝度レベルを１つ増加した輝度レベルが本区間の始点に設定される。次に、ステップＳ２０５において、現在処理している区間の画素数が所定の画素数より小さいか否かを判定する。ＹＥＳの場合はステップＳ２０６に進み、輝度レベルを１つ増加させ、その輝度レベルの画素数を処理中の区間の画素数に加算し、ステップＳ２０５に戻る。こうして、処理中の区間の画素数が所定の画素数以上になったならば、当該区間の処理は終わりであるため、ステップＳ２０３に戻り上記処理を繰り返す。
【００３４】
以上のステップＳ２０３〜Ｓ２０６により全画素数について複数の区間への分割が完了したならば、ステップＳ２０３からステップＳ２０７へ進む。ステップＳ２０７では、両ヒストグラムの区間数が等しいかどうかを判定し、等しい場合はステップＳ２０９へ、等しくない場合はステップＳ２０８へ進む。ステップＳ２０８では、図６により上述したように余剰の区間をその直前の区間に統合、或いは削除して、両ヒストグラムの区間数を等しくする。
【００３５】
以上のようにして区間分割部３により両ヒストグラムが同じ数の区間に分割されると、処理はステップＳ２０９へ進む。ステップＳ２０９では、区間平均値計算部４が、各区間に属する輝度レベルと頻度により区間毎の平均輝度レベルを計算する。そして、ステップＳ２１０において、関連付け部５は計算された第１画像と第２画像の各区間の平均輝度レベルを関連付けて対応関係表を生成する。ステップＳ２１１において、内挿補間部６は、最小自乗誤差法を用いることにより、多項式で上記対応関係表を補間し、図３に示すような第１と第２画像の各輝度レベルの対応関係テーブルを生成する。なお、本実施形態では、最大の多項式次数を４とする。ステップＳ２１２では、画像変換部７が上記で求めた対応関係テーブルを用いて第２画像の輝度を変換する。
【００３６】
なお、上記第２実施形態によれば、ステップＳ２０５の処理により、処理中の区間内の画素数が所定の画素数を超えた時点の輝度レベルが区間の終点となる。この方法で区間分割を行なうと、所定の画素数に１画素足りないだけでも次の輝度レベルが当該区間に入ってしまい、かえって目標画素数からはずれてしまう可能性がある。そこで、ステップＳ２０５では、所定の画素数を目標画素数よりも少なくする設定するのが好ましい。或いは、次の輝度レベルの画素数を加算する前と後とで、目標の画素数との差が小さくなる方を選択するようにしてもい。更に、区間の分割方法として、各区間の終点における累積画素数が目標画素数と本区間までの区間数との積を越えるところの輝度レベルあるいはそれらの差が最小となる輝度レベルに設定してもよい。
【００３７】
なお、上記第１、第２実施形態において、第１画像と第２画像のサイズについては特に制限はない。よって、第１画像と第２画像のサイズが異なる場合でも処理できる。また、第１、第２実施形態において、第１画像と第２画像の輝度レベルの対応関係テーブルを生成する際、各区間について平均輝度レベルを用いたがこれに限られるものではない。例えば、各区間の始点または終点の輝度レベルを用いて対応関係を関連付け、これを内挿補間することにより輝度レベルの対応関係テーブルを作ってもよい。
【００３８】
また、本発明は、複数の機器（例えば、ホストコンピュータ、インタフェース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【００３９】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４０】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４１】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００４２】
【発明の効果】
以上説明したように、本発明によれば、２つ画像の階調特性を安定して一致させることができる。
【図面の簡単な説明】
【図１】第１実施形態による画像階調合せ装置の機能構成を示すブロック図である。
【図２】第１実施形態による、ヒストグラムの区間分割の状態を説明する図である。
【図３】２つの画像の区間毎の平均輝度の対応付けを示すプロットとそれらを補間して得られる対応付けテーブルを示す図である。
【図４】第１実施形態による階調合せ処理を説明するフローチャートである。
【図５】第２実施形態による、ヒストグラムの区間分割の状態を説明する図である。
【図６】第２実施形態による区間分割処理において、余剰の区間の発生と処理を説明する図である。
【図７】第２実施形態による階調合せ処理を説明するフローチャートである。
【図８】従来技術による階調合せ処理を説明する図である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing technique. In particular, the present invention relates to image processing suitable for processing for gradation adjustment of an image to be subjected to difference processing or the like in CAD (Computer Aided Diagnosis) technology or the like of radiographic images.
[0002]
[Prior art]
In the field of radiological image diagnosis, comparative interpretation compares two images taken at different points in time, finds the difference between the current image and the past image, and grasps the early detection of lesions and the progress of lesion healing or deterioration. It is a medically effective means. In recent years, the time-difference CAD technique is being put into practical use in order to support comparative interpretation. The time-difference CAD technique removes image portions common to both images such as bones and blood vessels from two images taken at different points in time, and extracts image portions corresponding to changes such as lesions. As a result, early detection of lesions hidden in the normal structure, prevention of oversight of lesions, and expeditious interpretation can be expected.
[0003]
However, since the two images to be compared were taken at different points in time, they were obtained with a photostimulable phosphor sheet or a semiconductor X-ray sensor due to parameter changes during photographing or changes in the posture of the subject. The tone characteristics of the two images are different. When performing comparative interpretation, these gradation characteristic differences hinder accurate comparison judgment. In addition, when performing temporal difference, these tone characteristic differences are reflected in the difference image, so wrong information is provided to the doctor, and for example, the change range of lesions such as pneumonia and lung abscess cannot be accurately depicted. End up. Therefore, a method for stably correcting the above-described gradation characteristic difference by simple processing is desired.
[0004]
Therefore, Patent Document 1 proposes to match the gradation characteristic difference between the two images by combining the histograms of the first image and the second image. In Patent Document 1, a gradation conversion table for the first image for converting the histogram of the first image in FIG. 8A to the flattened histogram in FIG. 8C is created using the following equation (1). . In Expression (1), the flattening table is generated by dividing the cumulative frequency of the histogram by the total number of pixels and mapping the current luminance level to the new luminance level in the dynamic range of the original image.
[0005]
[Expression 1]

[0006]
In the above equation (1), h (i) is a histogram of the image, M0 represents the minimum value of the pixel, M1 represents the maximum value of the pixel, and the number of bits of the input data and the number of bits of the output data are Same thing.
[0007]
The flattening histogram of the first image is similar to the flattening histogram of the second image. If the flattening histogram of the second image is converted using the inverse conversion table of the gradation conversion table of the first image, the first image is displayed. A histogram of the second image can be created in accordance with the histogram of the image.
[0008]
Therefore, in Patent Document 1, the gradation of the second image is changed to the gradation of the first image by combining the inverse conversion table of the created gradation conversion table of the first image and the gradation conversion table of the second image. Generate a combined conversion table to match The generated combined conversion table is shown in FIG. Then, by matching the histogram of the second image with the histogram of the first image, that is, by performing tone conversion of the second image using the combined conversion table, the tone characteristics of both images are matched.
[0009]
[Patent Document 1]
Japanese Patent Laid-Open No. 11-096352
[Problems to be solved by the invention]
However, according to the above-described method, when a dark image is converted into a bright image, the maximum luminance level is achieved with a smaller pixel value when creating a flattening gradation conversion table for the dark image. For example, as shown in FIG. 8D, in the second image, the characteristics of the conversion table are flat in the vicinity of the original pixel value of 2200, and the pixel values after conversion remain at just over 4000 and remain almost unchanged. On the other hand, in the reverse conversion table of the first image (the reverse conversion table of the conversion table shown in FIG. 8B), the pixel value (vertical axis in FIG. 8B) is a conversion value (FIG. ) Is a region where the horizontal axis) increases rapidly. For this reason, the generated combined conversion table increases rapidly from a value of less than 2200 as shown in FIG. In an actual chest X-ray, there are some pixels larger than 2200 in the lung field, and when converted using the combined conversion table shown in FIG. 8 (f), multiple white islands appear in the lung field. Disturbs the diagnosis.
[0011]
The present invention has been made in view of the above problems, and an object of the present invention is to stably match the gradation characteristics between images regardless of the gradation characteristics of the original image.
[0012]
[Means for Solving the Problems]
In order to achieve the above object, an image processing apparatus according to the present invention comprises the following arrangement. That is,
An image processing apparatus that performs gradation adjustment of a first image and a second image,
A dividing unit that divides a histogram indicating the number of pixels for each luminance level corresponding to each of the first image and the second image into a plurality of sections of the same number;
Calculating means for calculating an average value of the luminance levels of each section obtained by the dividing means;
Corresponding the average luminance levels of the sections of the first and second images obtained by the calculating means, and interpolating the correspondence relationship to generate correspondence information of the luminance levels of the first image and the second image. Generating means.
[0013]
Further, an image processing method according to the present invention for achieving the above object is as follows:
An image processing method for performing gradation matching of a first image and a second image,
A division step of dividing a histogram indicating the number of pixels for each luminance level corresponding to each of the first image and the second image into a plurality of sections of the same number;
A calculation step of calculating an average value of luminance levels of each section obtained in the division step;
Corresponding the average luminance levels of the sections of the first and second images obtained in the calculation step, and interpolating the correspondences to generate correspondence information of the luminance levels of the first and second images. A generating step.
[0014]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.
[0015]
<First Embodiment>
FIG. 1 is a block diagram showing a functional configuration of the image gradation matching apparatus according to the first embodiment. Note that the image gradation matching device of the first embodiment may be a dedicated device that realizes the functions shown in FIG. 1 or may be realized by providing a control program that causes a general-purpose computer to execute processing described later. May be. Each functional block shown in FIG. 1 may be realized by hardware or software. Or you may implement | achieve by cooperation of hardware and software air.
[0016]
In FIG. 1, reference numeral 1 denotes an image input unit, which reads two digital images (hereinafter also referred to as a first image and a second image) from an image storage unit (not shown). For example, two digital images of the same subject taken at different times are read out. Reference numeral 2 denotes a histogram calculation unit that calculates the histograms of the two digital images read out by the image input unit 2.
[0017]
Reference numeral 3 denotes a section dividing unit, which divides the histograms of the two digital images into sections having a predetermined number of sections. In the first embodiment, distribution is performed so that each section has the same number of pixels. Further, the number of sections is set to a sampling rate that can be interpolated with sufficient accuracy by the least square error method or the like in the generation of the average luminance correspondence table described later with reference to FIG. In this embodiment. As an experience value, the number of sections is 16. For example, if the size of two digital images is 672 × 672 and the number of sections is 16, the number of pixels in each section is 28224. The section dividing unit 3 divides the histogram for every pixel value 0 to 28224 pixels. As shown in FIG. 2, when all the pixel numbers of the pixel values at the end point of a section cannot be allocated to the section, the surplus number of pixels is allocated to the next section. Therefore, in the first embodiment, the end point of each section and the start point of the next section may overlap.
[0018]
Reference numeral 4 denotes a section average value calculation unit, which calculates the average brightness value of each section obtained by the section division unit 3 for each of two digital images. For example, the luminance average value is Y (n) (n = a to b) in the interval, the number of pixels of each luminance level Y (n) is M (n), When the number of pixels is N,
[Expression 2]

Can be obtained.
[0019]
Reference numeral 5 denotes an associating unit. As shown in FIG. 3, the section average brightness levels of the first image and the second image calculated by the section average value calculating section 4 are set as the vertical axis and the horizontal axis, respectively. create. An interpolation unit 6 interpolates the correspondence table created by the associating unit 5 with a polynomial using the least square error method, and converts the gradation characteristics of the second image to the gradation characteristics of the first image. Create a key conversion table. An image conversion unit 7 performs luminance conversion of the second image using the gradation conversion table, matches the gradation characteristics to the first image, and displays the converted second image on the image display unit 8.
[0020]
The operation of the image gradation matching apparatus of the first embodiment having the above configuration will be described with reference to the flowchart of FIG.
[0021]
First, in step S101, the image input unit 1 loads a first image and a second image from an image storage unit (not shown). In step S102, the histogram calculation unit 2 counts the number of appearances of each brightness level for the loaded first and second images, and calculates each histogram.
[0022]
Next, in steps S103 to S109, the section dividing unit 3 divides the histograms of both images into sections having the same number of pixels. First, in step S103, it is determined whether the number of the currently processed section (hereinafter referred to as a section number; in this embodiment, one of 1 to 16) is equal to or less than a predetermined number of sections (16 in this embodiment). If the section number is equal to or less than the predetermined number of sections, the process proceeds to step S104. If the section number exceeds the predetermined number of sections, the process proceeds to step S110.
[0023]
In step S104, the start point of the section and the number of pixels are initialized. More specifically, in the initialization of the start point of the section, if there is a number of pixels that cannot be divided in the previous section, the start point of this section is set as the luminance level at the end point of the previous section, and there is no number of pixels that cannot be divided in the previous section. In this case, the start point of this section is set to the brightness level next to the brightness level of the end point of the previous section (generally, the brightness level obtained by adding 1 to the previous brightness level). In the case of the first section, the luminance at the start point of the section is zero. Also, in the initialization of the number of pixels in the section, if there is an indivisible number of pixels in the previous section, the initial value of the number of pixels in this section is set as the remaining number of pixels (obtained in step S108 described later), and the previous section If there is no divisible pixel number, the initial value of the pixel number in this section is set to zero.
[0024]
In step S105, it is determined whether or not the number of pixels in the currently processed section is smaller than a predetermined number of pixels (28224 in this embodiment). If YES, the process proceeds to step S106, and the number of pixels of the next luminance level is determined. Is added to the number of pixels in the section. In this way, when the number of pixels in the currently processed section is equal to or larger than the predetermined number of pixels, the process proceeds from step S105 to step S107. If the number of pixels in the currently processed section is equal to the predetermined number of pixels, the process proceeds from step S107 to step S109, and the section number is incremented by one to process the next section. If the number of pixels in the currently processed section is larger than the predetermined number of pixels, the process proceeds to step S108, and the surplus number of pixels that cannot be allocated to this section is allocated to the next section.
[0025]
When the process is completed by the section dividing unit 3, that is, when the section number is larger than the predetermined number of sections, the process proceeds to step S110. In step S110, the section average value calculation unit 4 calculates the average brightness level for each section based on the brightness level and frequency belonging to each section. In step S111, the associating unit 5 generates a correspondence table by associating the calculated average luminance levels of the sections of the first image and the second image. In step S112, the interpolation unit 6 interpolates the correspondence table with a polynomial by using the least square error method or the like, and the correspondence between the luminance levels of the first and second images as shown in FIG. Generate a table. In the present embodiment, the correspondence is approximated by a first-order to fourth-order polynomial, and the one having the smallest error is selected. In other words, the maximum polynomial order is four. In step S113, the image conversion unit 7 converts the brightness of the second image using the correspondence table obtained above.
[0026]
According to the gradation matching of the first embodiment as described above, it is possible to accurately match the gradation characteristics of two images. In particular, since the average luminance of each section of both images is matched, a slight difference in gradation characteristics between both images can be corrected. In addition, accurate comparison interpretation becomes easier by using the difference image between the two images having the same gradation characteristics obtained in this way.
[0027]
Second Embodiment
Next, a second embodiment will be described. The difference between the second embodiment and the first embodiment lies in the method of dividing the image into a predetermined number of sections by the section dividing unit 3. That is, the functional configuration of the gradation matching apparatus of the second embodiment is as shown in FIG. 1, but the processing of the section dividing unit 3 is different. Hereinafter, the second embodiment will be described mainly with respect to differences from the first embodiment.
[0028]
In the second embodiment, as shown in FIG. 5, the section dividing unit 3 first divides a histogram into sections having an approximately equal number of pixels with a predetermined number of pixels as a target. For example, when the size of the digital image is 672 × 672 as in the first embodiment, the predetermined number of pixels is 28224. Unlike the first embodiment, the end point is a luminance level that exceeds a predetermined number of pixels for each section. The start point and end point of each section obtained by the division do not overlap.
[0029]
Next, as shown in FIG. 6, when the number of sections of both divided histograms is compared, and there is a difference in the number of sections, in the histogram having a large number of sections, the excess section from the end is integrated into the previous section or delete. For example, in FIG. 6, the number of sections in the histogram of (b) is one more than in (a), and the last section (n + 1) is integrated or deleted in the immediately preceding section (n). Become.
[0030]
Hereinafter, the gradation matching process according to the second embodiment will be described with reference to the flowchart of FIG.
[0031]
First, in step S201, the image input unit 1 loads the first and second images from the image storage unit. In step S202, the histogram calculation unit 2 counts the number of appearances of each luminance level for the loaded first and second images, and calculates each histogram.
[0032]
In step S203 to step S208, the section dividing unit 3 divides the histograms of both images into the same number of sections. Note that the division is performed so that each section has substantially the same number of pixels.
[0033]
First, in step S203, it is determined whether or not the section division has been completed for the total number of pixels. If the process has not been completed for the total number of pixels, the process proceeds to step S204 to initialize the section start point. When the section to be processed is the first section, the brightness level 0 is set as the start point of this section, and in other cases, the brightness level obtained by incrementing the brightness level of the end point of the previous section by one is set as the start point of this section. The Next, in step S205, it is determined whether the number of pixels in the currently processed section is smaller than a predetermined number of pixels. If YES, the process proceeds to step S206, the brightness level is increased by 1, the number of pixels at the brightness level is added to the number of pixels in the section being processed, and the process returns to step S205. Thus, when the number of pixels in the section being processed is equal to or greater than the predetermined number of pixels, the processing in the section is complete, so the process returns to step S203 and the above process is repeated.
[0034]
If division into a plurality of sections is completed for the total number of pixels through the above steps S203 to S206, the process proceeds from step S203 to step S207. In step S207, it is determined whether or not the number of sections in both histograms is equal. If they are equal, the process proceeds to step S209, and if not, the process proceeds to step S208. In step S208, as described above with reference to FIG. 6, the surplus section is integrated with or deleted from the section immediately before it, and the number of sections in both histograms is made equal.
[0035]
When both the histograms are divided into the same number of sections by the section dividing unit 3 as described above, the process proceeds to step S209. In step S209, the section average value calculation unit 4 calculates the average brightness level for each section based on the brightness level and frequency belonging to each section. In step S210, the associating unit 5 associates the calculated average luminance levels of the sections of the first image and the second image and generates a correspondence table. In step S211, the interpolation unit 6 uses the least square error method to interpolate the correspondence table with a polynomial, and the correspondence table of the luminance levels of the first and second images as shown in FIG. Is generated. In the present embodiment, the maximum polynomial order is 4. In step S212, the image conversion unit 7 converts the brightness of the second image using the correspondence table obtained above.
[0036]
Note that, according to the second embodiment, the luminance level at the time when the number of pixels in the section being processed exceeds a predetermined number of pixels by the process of step S205 becomes the end point of the section. If section division is performed by this method, the next luminance level may enter the section even if the predetermined number of pixels is less than one pixel, and may deviate from the target number of pixels. Therefore, in step S205, it is preferable to set the predetermined number of pixels to be smaller than the target number of pixels. Alternatively, it may be selected that the difference between the target number of pixels is smaller before and after the number of pixels of the next luminance level is added. Further, as a method of dividing the section, the brightness level where the cumulative number of pixels at the end point of each section exceeds the product of the target number of pixels and the number of sections up to this section or the difference between them is set to the minimum. Also good.
[0037]
In the first and second embodiments, the sizes of the first image and the second image are not particularly limited. Therefore, it is possible to process even when the sizes of the first image and the second image are different. In the first and second embodiments, when generating the correspondence table between the luminance levels of the first image and the second image, the average luminance level is used for each section, but the present invention is not limited to this. For example, a correspondence relationship table of luminance levels may be created by associating correspondence using the luminance level of the start point or end point of each section and interpolating this.
[0038]
Further, the present invention may be applied to a system constituted by a plurality of devices (for example, a host computer, an interface device, an imaging device, a web application, etc.), or may be applied to a device constituted by a single device.
[0039]
Also, an object of the present invention is to supply a recording medium (or storage medium) in which a program code of software that realizes the functions of the above-described embodiments is recorded to a system or apparatus, and the computer (or CPU or Needless to say, this can also be achieved when the MPU) reads and executes the program code stored in the recording medium. In this case, the program code itself read from the recording medium realizes the functions of the above-described embodiment, and the recording medium on which the program code is recorded constitutes the present invention. Further, by executing the program code read by the computer, not only the functions of the above-described embodiments are realized, but also an operating system (OS) running on the computer based on the instruction of the program code. It goes without saying that a case where the function of the above-described embodiment is realized by performing part or all of the actual processing and the processing is included.
[0040]
Furthermore, after the program code read from the recording medium is written into a memory provided in a function expansion card inserted into the computer or a function expansion unit connected to the computer, the function is based on the instruction of the program code. It goes without saying that the CPU or the like provided in the expansion card or the function expansion unit performs part or all of the actual processing and the functions of the above-described embodiments are realized by the processing.
[0041]
When the present invention is applied to the recording medium, program code corresponding to the flowchart described above is stored in the recording medium.
[0042]
【The invention's effect】
As described above, according to the present invention, the gradation characteristics of two images can be stably matched.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a functional configuration of an image gradation matching apparatus according to a first embodiment.
FIG. 2 is a diagram for explaining a state of section division of a histogram according to the first embodiment.
FIG. 3 is a diagram showing a plot showing correspondence of average luminance for each section of two images and a correspondence table obtained by interpolating them.
FIG. 4 is a flowchart for explaining gradation matching processing according to the first embodiment.
FIG. 5 is a diagram for explaining a state of section division of a histogram according to the second embodiment.
FIG. 6 is a diagram for explaining generation and processing of a surplus section in the section division processing according to the second embodiment.
FIG. 7 is a flowchart for explaining gradation matching processing according to the second embodiment.
FIG. 8 is a diagram for explaining gradation matching processing according to a conventional technique.

Claims

An image processing apparatus that performs gradation adjustment of a first image and a second image,
A dividing unit that divides a histogram indicating the number of pixels for each luminance level corresponding to each of the first image and the second image into a plurality of sections of the same number;
Calculating means for calculating an average value of the luminance levels of each section obtained by the dividing means;
Corresponding the average luminance levels of the sections of the first and second images obtained by the calculating means, and interpolating the correspondence relationship to generate correspondence information of the luminance levels of the first image and the second image. An image processing apparatus comprising: a generation unit.

The gradation adjustment unit for adjusting the gradation of the second image by converting the luminance level of the first image according to the correspondence information generated by the generation unit. Image processing device.

2. The image gradation matching according to claim 1, wherein the dividing unit divides each histogram into a plurality of sections by dividing each of the histograms of the first and second images by a predetermined number of pixels. Equipment.

2. The image according to claim 1, wherein the dividing unit divides each of the histograms of the first and second images into a plurality of sections using a luminance level as a unit based on the number of pixels serving as a target value. Processing equipment.

The dividing unit integrates or deletes an excess section into another section so that the number of sections is the same when the number of obtained sections differs in the histograms of the first and second images. The image processing apparatus according to claim 4.

The image processing apparatus according to claim 5, wherein the integration or deletion of the sections is performed from the end of the histogram.

An image processing method for performing gradation matching of a first image and a second image,
A division step of dividing a histogram indicating the number of pixels for each luminance level corresponding to each of the first image and the second image into a plurality of sections of the same number;
A calculation step of calculating an average value of luminance levels of each section obtained in the division step;
Corresponding the average luminance levels of the sections of the first and second images obtained in the calculation step, and interpolating the correspondences to generate correspondence information of the luminance levels of the first and second images. An image processing method comprising: a generation step.

A storage medium for storing a control program for causing a computer to execute the image processing method according to claim 7.

A control program for causing a computer to execute the image processing method according to claim 7.