JP2008141707A - 画像処理方法および装置ならびにプログラム - Google Patents

Abstract

【課題】負の歪曲収差を有する対物レンズにより結像された被写体像を撮影し取得した画像に対し、高速に画像補正を施す。
【解決手段】負の歪曲収差を有する対物レンズ２により結像された被写体像を固体撮像素子３により撮影し全体画像Ｐが取得される。領域分割手段１０において、全体画像Ｐが中心ＣＰに所定の半径Ｒｒｅｆの円からなる境界線Ｂを描いたときの境界線Ｂの内側の円内領域Ｒｃと、境界線Ｂ上にある境界画素Ｐｉｘと、境界線の外側にある円外領域Ｒｄとに領域分割される。そして、円内領域Ｒｃへの画像補正と、円外画像Ｒｄへの画像補正と、境界領域Ｒｂへの画像補正とが並列して行われる。その後、領域合成手段５０において、並列処理により得られた画像補正後の円内領域Ｒｃと円外領域Ｒｄとが合成される。
【選択図】図１

Description

本発明は、たとえば内視鏡、ウェブカメラのような負の歪曲収差を有する対物レンズを用いた撮影により取得された画像を補正する画像処理方法および装置ならびにプログラムに関するものである。

体腔内の組織の性状や病変を隆起・陥没・表面模様などの形状変化や色調の微妙な変化を読み取るために内視鏡検査が行われる。内視鏡検査を行うとき、体腔内に光プローブを挿入し、たとえばＣＣＤ等の固体撮像素子を用いて体腔内の状態を撮影し画像を取得することにより行われる。ここで、上述のような固体撮像素子を用いたいわゆる直視型の内視鏡の場合、たとえば特許文献１に示すような画角が広い対物レンズを用いて撮影したい部位の被写体像を固体撮像素子により撮影し画像を取得するようになっている。

一方、広角レンズのような負の歪曲収差を有する対物レンズにより取得された画像は、中央部よりも周辺部分の方が暗くなってしまい、中央部と周辺部分との明るさに差ができてしまう特性を有している。このため、これを画像処理により補正する必要がある。そこで、特許文献２に示すように被写体像の周辺光量の落ち込みを補うように輝度補正することが提案されている。
特開２００２−１３１６３３号公報 特開２００２−３１４８７７号公報

ところで、上述のような画像補正を高速に効率よく行うためには、マルチプロセッサを用いた並列処理を行うことが考えられる。特に、負の歪曲収差を有する対物レンズにより結像された被写体像を撮影し取得した画像が有する特性に合った並列処理を行うことにより、より効率的に高速に画質の良い画像補正を行うことが望まれている。

そこで、本発明は、負の歪曲収差を有する対物レンズにより結像された被写体像を撮影し取得した画像に対し、高速かつ効率的に画像補正を施すことができる画像処理方法および装置ならびにプログラムを提供することを目的とするものである。

本発明の画像処理方法は、負の歪曲収差を有する対物レンズにより結像された被写体像を固体撮像素子により撮影し取得した全体画像を、全体画像の中心に所定の半径の円からなる境界線を描いたときの境界線の内側の円内領域と、境界線上にある境界画素からなる境界領域と、境界領域の外側にある円外領域とに分割し、分割した円内領域と円外領域と境界領域とに対しそれぞれ画像補正を並列して行い、並列処理により得られた画像補正後の円内領域と円外領域と境界領域とを合成することを特徴とするものである。

本発明の画像処理装置は、負の歪曲収差を有する対物レンズにより結像された被写体像を固体撮像素子により撮影し取得した全体画像を、全体画像の中心に所定の半径の円からなる境界線を描いたときの円内領域と、境界線上にある境界画素からなる境界領域と、境界領域の外側にある円外領域とに分割する領域分割手段と、領域分割手段により分割された円内領域への画像補正を行う円内領域補正手段と、領域分割手段により分割された境界領域への画像補正を行う境界領域補正手段と、領域分割手段により分割された円外領域への画像補正を行う円外領域補正手段と、円内領域補正手段と境界領域補正手段と全体画像補正手段とにおいてそれぞれ補正された円内領域と円外領域と境界画素とを合成する領域合成手段とを備え、円内領域補正手段による円内領域への画像補正と、境界領域補正手段による境界画素への画像補正と、円外領域補正手段による円外領域への画像補正とが、マルチコアプロセッサを用いて並列して行われるものであることを特徴とするものである。

本発明の画像処理プログラムは、コンピュータに、負の歪曲収差を有する対物レンズにより結像された被写体像を固体撮像素子により撮影し取得した全体画像を、全体画像の中心に所定の半径の円からなる境界線を描いたときの境界線の内側の円内領域と、境界線上にある境界画素からなる境界領域と、境界領域の外側にある円外領域とに分割し、分割した円内領域と円外領域と境界領域とに対しそれぞれ画像補正を並列して行い、並列処理により得られた画像補正後の円内領域と円外領域と境界領域とを合成することを実行させることを特徴とするものである。

ここで、負の歪曲収差を有する対物レンズはどのような構成のものであってもよく、たとえば複数のレンズ群により構成された対物レンズが負の歪曲収差特性を有するものであってもよいし、魚眼レンズや広角レンズのような１つのレンズが負の歪曲収差特性を有するものであってもよい。

また、円内領域補正手段による円内領域への画像補正と、境界領域補正手段による境界画素への画像補正と、円外領域補正手段による円外領域への画像補正とが、マルチコアプロセッサを用いて並列して行われるものであればよく、上記３つの補正が１つのマイクロプロセッサにより実行されるものであってもよいし、それぞれ複数のマイクロプロセッサにより実行されるものであってもよい。

なお、境界領域補正手段は、境界画素の端部に２つ形成される境界線との交点を算出する交点算出手段と、交点算出手段により算出された交点を結ぶ直線を描き、この直線により円内側の領域と円外側の領域とに分割して円内領域側の面積と円外領域側の面積とを算出する面積算出手段と、面積算出手段により算出された面積を用いて境界画素の画素補正を行う画素補正手段とを備え、交点算出手段が、Ｎ＋１番目（Ｎは整数）の境界画素について交点の算出を行っているとき、面積算出手段および画素補正手段が、Ｎ番目の境界画素について面積の算出および画素補正を行うものであってもよい。

本発明の画像処理方法および装置ならびにプログラムによれば、負の歪曲収差を有する対物レンズにより結像された被写体像を固体撮像素子により撮影し取得した全体画像を、画像の中心に所定の半径の円からなる境界線を描いたときの円内領域と、境界線上にある境界画素とを分割し、分割した円内領域への画像補正と、分割した境界画素への画像補正と、全体画像への画像補正とを並列処理し、並列処理により得られた画像補正後の円内領域と境界画素と画像とを合成することにより、負の歪曲収差を有する対物レンズを用いて取得された全体画像において、中心に円形状に明るい部分が存在し、中心に対する周辺部分に暗い領域が存在するのを利用し、全体画像の中心に円内領域を設定して同じような画像補正をする画素毎に全体画像を分類し、円内領域、円外領域および境界画素とを並列処理により明暗等の画像補正することができるため、高速に全体画像に補正を行うことができる。

なお、境界領域補正手段が、境界画素の端部に２つ形成される境界線との交点を算出する交点算出手段と、交点算出手段により算出された交点を結ぶ直線を描き、この直線により円内側の領域と円外側の領域とに分割して円内領域側の面積と円外領域側の面積とを算出する面積算出手段と、面積算出手段により算出された面積を用いて境界画素の画素補正を行う画素補正手段とを備え、交点算出手段が、Ｎ＋１番目（Ｎは整数）の境界画素について交点の算出を行っているとき、面積算出手段および画素補正手段が、Ｎ番目の境界画素について面積の算出および画素補正を行うものであるとき、曲線と直線の交点の算出のような高い処理能力を必要とする演算と、面積算出および画素補正の演算とを並列に行うことができるため、より高速な画像補正を実現することができる。

以下、図面を参照して本発明の好ましい実施の形態を詳細に説明する。以下、図面を参照して本発明の画像処理装置の好ましい実施の形態を詳細に説明する。なお、図１のような画像処理装置１の構成は、補助記憶装置に読み込まれた画像処理プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。このとき、この画像処理プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

画像処理装置１は、負の歪曲収差を有する対物レンズ２により結像された被写体像を固体撮像素子３により撮影し取得した全体画像Ｐに対したとえば明暗の補正処理を行うものであって、領域分割手段１０、円内領域補正手段２０、円外補正手段３０、境界領域補正手段４０、領域合成手段５０等を有している。ここで、対物レンズ２はたとえば内視鏡装置、防犯カメラ、ウェブカメラ、デジタルカメラ等に用いられる魚眼レンズ、広角レンズ、もしくは負の歪曲収差特性を有するレンズ群からなるものであり、ＣＣＤ等の固体撮像素子３がこの対物レンズ２により結像された被写体像を撮影し全体画像Ｐを取得するようになっている。

領域分割手段１０は、図２および図３に示すように、全体画像Ｐを、全体画像Ｐの中心ＣＰに所定の半径Ｒｒｅｆの円からなる境界線Ｂを描いたときの円内領域Ｒｃと、境界線Ｂ上にある境界領域Ｒｂと、境界領域Ｒｂの外側にある円外領域Ｒｄとに分割する機能を有している。具体的には、全体画像Ｐにおいて画素が格子状に複数配列されているときに（図３参照）、領域分割手段１０は、各画素における最も中心ＣＰに遠い格子点が半径Ｒｒｅｆよりも短いか否かを判断する。そして、半径Ｒｒｅｆよりも短い格子点を有する画素が円内領域Ｒｃに含まれる画素であると判断し、これらの画素により形成される領域を円内領域Ｒｃとして分割する。さらに、領域分割手段１０は、最も中心ＣＰに近い格子点が半径Ｒｒｅｆよりも長い格子点を有する画素は、円内領域Ｒｃに含まれない円外領域の画素であると判断する。そして、領域分割手段１０は、円内領域Ｒｃにも円外領域にも該当しない画素を境界線Ｂ上にある境界画素Ｐｉｘからなる境界領域Ｒｂして分割する。

なお、上述した所定の半径Ｒｒｅｆは被写体像の結像に用いる対物レンズの種類によって予め設定されるものであり、使用する対物レンズ２において中央部と周辺部分の像面照度比によって決定されるものである。

円内領域補正手段２０は、領域分割手段１０により分割された円内領域Ｒｃへの画像補正を行うものである。具体的には、円内領域補正手段２０は、たとえば中心ＣＰから境界線Ｂにかけての濃淡グラデーションを予め測定して記憶し、これをマスクとしてシェーディング補正を行うようになっている。

円外領域補正手段３０は、領域分割手段１０により分割された円外領域Ｒｄに対し補正を施すものである。具体的には円外領域補正手段３０は、たとえば境界線Ｂから全体画像Ｐの端部にかけての濃淡グラデーションを予め測定して記憶し、これをマスクとしてシェーディング補正を行うようになっている。このような円内領域Ｒｃへの補正と円外領域Ｒｄへの補正により、円内領域Ｒｃと円外領域Ｒｄとの像面照度比による明暗の発生を低減することができる。なお、円内領域補正手段２０と円外領域補正手段３０との明暗の補正量は、補正後の円内領域Ｒｃと円外領域Ｒｄが均一の明るさになるようにそれぞれ補正量が予め調整されている。

境界領域補正手段４０は、領域分割手段１０により分割された境界領域Ｒｂの境界画素Ｐｉｘへの画像補正を行うものである。具体的には、図４および図５に示すように、境界領域補正手段４０は境界画素Ｐｉｘの端部に２つ形成される境界線Ｂとの交点ＩＰ１、ＩＰ２を算出する交点算出手段４１と、算出した交点ＩＰ１、ＩＰ２を結ぶ直線を描き、この直線により円内側の領域Ｒｂｃと円外側の領域Ｒｂｄとに分割して、この直線により分割される円内領域側の面積Ｓ１と円外領域側の面積Ｓ２とを算出する面積算出手段４２と、算出された面積Ｓ１、Ｓ２を用いて境界画素Ｐｉｘの補正を行う画素補正手段４３とを有している。ここで、画素補正手段４３は、算出した画素値Ｘ、Ｙをそれぞれ面積Ｓ１、Ｓ２の比率に応じた重み付け平均を算出するようになっている。具体的には、ます、画素補正手段４３は、境界画素Ｐｉｘに対し円内領域Ｒｃに施される画像処理が行われたときに得られる画素値Ｘと、境界画素Ｐｉｘに対し円外領域Ｒｄに施される画像処理が行われたときに得られる画素値Ｙとを算出する。円内領域Ｒｃ側の領域の面積がＳ１、円外領域Ｒｄ側の面積がＳ２であるとき、画素補正手段４３は、補正後の境界画素Ｐｉｘの画素値Ｚ＝（Ｓ１×Ｘ＋Ｓ２×Ｙ）／（Ｓ１＋Ｓ２）を算出する。

領域合成手段５０は上述のように画像補正が施された円内領域Ｒｃ、円外領域Ｒｄおよび境界領域Ｒｂを合成することにより、補正後の全体画像Ｐを生成するようになっている。

ここで、上述した円内領域補正手段２０、円外領域補正手段３０および境界領域補正手段４０は、図６に示すような複数のマイクロプロセッサＭＰＵ０〜ＭＰＵ４を有するマルチコアプロセッサ１００により実行される。具体的には、領域分割手段１０による領域の分割がマイクロプロセッサＭＰＵ０により実行される。なお、このＭＰＵ０は各マイクロプロセッサＭＰＵ１〜ＭＰＵ４の動作を制御する機能も有している。円内領域補正手段２０はＭＣＵ１により実行され、円外領域補正手段３０はＭＰＵ２により実行され、境界領域補正手段４０はＭＰＵ３、４により実行される。特に、境界領域補正手段４０の交点算出手段４１によるＮ番目（Ｎは整数）の境界画素Ｐｉｘについての交点ＩＰ１、ＩＰ２の算出がＭＰＵ３により実行され、面積算出手段４２による算出した交点ＩＰ１、ＩＰ２を用いた面積Ｓ１、Ｓ２の計算および画素補正手段４３による補正後の境界画素Ｐｉｘの算出がＭＰＵ４により行われる。各マイクロプロセッサＭＰＵ１〜ＭＰＵ４は同一のフレームメモリにアクセスすることができ、フレームメモリに格納されたデータを共有することができる。

図７は本発明の画像処理方法の好ましい実施の形態を示すフローチャートであり、図１から図７を参照して画像処理方法について説明する。まず、負の歪曲収差を有する対物レンズ２により結像された被写体像を固体撮像素子３により撮影し全体画像Ｐが取得される。すると、領域分割手段１０において、全体画像Ｐが中心ＣＰに所定の半径Ｒｒｅｆの円からなる境界線Ｂを描いたときの境界線Ｂの内側の円内領域Ｒｃと、境界線Ｂ上にある境界画素Ｐｉｘと、境界線の外側にある円外領域Ｒｄとに領域分割される（ステップＳＴ１、図２、図３参照）。

次に、円内領域補正手段２０による円内領域Ｒｃへの画像補正と、円外領域補正手段３０による円外領域Ｒｄへの画像補正と、境界領域補正手段４０による境界領域Ｒｂへの画像補正とがＭＣＵ１〜ＭＣＵ４を用いてそれぞれ並列した画像処理が行われる（ステップＳＴ２〜ＳＴ４、図４〜図６参照）。特に、境界領域補正手段４０において、Ｎ番目（Ｎは整数）の境界画素Ｐｉｘについての交点ＩＰ１、ＩＰ２の算出をＭＰＵ３により実行され、算出した交点ＩＰ１、ＩＰ２を用いた面積Ｓ１、Ｓ２の計算および補正後の境界画素Ｐｉｘの算出がＭＰＵ４により行われる。その後、領域合成手段５０において、並列処理により得られた画像補正後の円内領域Ｒｃと円外領域Ｒｄとが合成される（ステップＳＴ５）。

このように、全体画像Ｐを円内領域Ｒｃ、円外領域Ｒｄおよび境界領域Ｒｂとに分割し、それぞれ種類の異なる画像処理について異なるＭＰＵを用いて並列処理を行うことにより、高速に画質の良い補正後の全体画像Ｐを取得することができる。すなわち、全体画像Ｐに対し並列処理により画像補正を行う場合、全体画像Ｐを格子状の各ブロックごとに領域分割し、各ブロック領域をそれぞれ並列処理することも考えられる。しかし、負の歪曲収差を有する対物レンズ２により結像された被写体像を撮影したとき、全体画像Ｐには中央の円周内とその周辺部分との間で明暗が発生するものである。よって、各ブロック領域毎に分類しても、たとえば１つのブロック領域内に明暗の発生の仕方が異なる画素が含まれてしまう場合がある。よって、各ブロック領域内においても暗く補正する画素と明るく補正する画素とが混在してしまい、各ＭＰＵ１〜４において効率的な画像処理を行うことができない。

一方、上述のように対物レンズの特性に合わせて、円内領域Ｒｃ、円外領域Ｒｄ、境界画素Ｐｉｘを領域分割し、円内領域Ｒｃについては暗く、円外領域Ｒｄについては明るく、境界領域Ｒｂの境界画素Ｐｉｘについては上述のように円内領域Ｒｃと円外領域Ｒｄとの画像処理を混在させるといったように、同じような画像処理を行うものについて各ＭＰＵ１〜４によりそれぞれ処理を行うようにすることにより高速に画像処理を行うことができる。

特に、境界領域補正手段４０において、交点算出手段４１が、Ｎ＋１番目（Ｎは整数）の境界画素について交点の算出を行っているとき、面積算出手段４２および画素補正手段４３が、Ｎ番目の境界画素Ｐｉｘについて面積の算出および画素補正を行うものであるとき、曲線と直線の交点の算出のような高い処理能力を必要とする演算と、面積算出および画素補正の演算とを並列に行うことができるため、より高速な画像補正を実現することができる。

上記実施の形態によれば、負の歪曲収差を有する対物レンズ２により結像された被写体像を固体撮像素子３により撮影し取得した全体画像Ｐから、全体画像Ｐの中心ＣＰに所定の半径Ｒｒｅｆの円からなる境界線Ｂを描いたときの円内領域Ｒｃと、境界線Ｂ上にある境界領域Ｒｂと、境界領域Ｒｂの外側にある円外領域Ｒｄを分割し、円内領域Ｒｃへの画像補正と境界画素Ｐｉｘへの画像補正と円外領域Ｒｄへの画像補正とを並列処理し、並列処理により得られた画像補正後の円内領域Ｒｃと円外領域Ｒｄと境界画素Ｐｉｘとを合成することにより、負の歪曲収差を有する対物レンズ２の明暗特性に合わせて円内領域Ｒｃを設定して同じような画像補正をする画素毎に全体画像Ｐを分類し、円内領域Ｒｃ、円外領域Ｒｄおよび境界画素Ｐｉｘとを並列処理により明暗等の画像補正することができるため、高速に全体画像に補正を行うことができる。

本発明の実施の形態は上記実施の形態に限定されない。たとえば、図２および図３において円内領域Ｒｃおよび円外領域Ｒｄには、それぞれシェーディング補正を施す場合について例示しているが、広角レンズに起因する画像の明暗の補正のみならず、ＣＣＤの血管画素に対する画素値を補間する補正を行うようにしても良い。

また、上記実施の形態において、円内領域補正手段２０、円外領域補正手段３０は１つのマイクロプロセッサにより実行される場合について例示しているが、複数のマイクロプロセッサにより実行されるものであってもよい。

本発明の画像処理装置の好ましい実施の形態を示すブロック図 図１の領域分割手段において全体画像の領域が分割される様子を示す模式図 図１の領域分割手段において分割されたときに、境界線付近の画素の様子を示す模式図 図１の画像処理装置における境界領域補正手段の一例を示すブロック図 図１の領域分割手段において境界画素が境界線により分割される様子を示す模式図 図１の画像処理装置が実行されるマルチコアプロセッサの一例を示すブロック図 本発明の画像処理方法の好ましい実施の形態を示すフローチャート

符号の説明

１ 画像処理装置
２ 対物レンズ
３ 固体撮像素子
１０ 領域分割手段
２０ 円内領域補正手段
３０ 円外領域補正手段
４０ 境界領域補正手段
５０ 領域合成手段
１００ マルチコアプロセッサ
Ｂ 境界線
ＣＰ 中心
Ｐ 画像
Ｐ 全体画像
Ｐ１ 全体画像
Ｐｉｘ 境界画素
Ｒｃ 円内領域
Ｒｄ 円外領域
Ｒｒｅｆ 半径

Claims (4)

1. 負の歪曲収差を有する対物レンズにより結像された被写体像を固体撮像素子により撮影し取得した全体画像を、該全体画像の中心に所定の半径の円からなる境界線を描いたときの該境界線の内側の円内領域と、前記境界線上にある境界画素からなる境界領域と、該境界領域の外側にある円外領域とに分割し、
   分割した前記円内領域と前記円外領域と前記境界領域とに対しそれぞれ画像補正を並列して行い、
   並列処理により得られた画像補正後の前記円内領域と前記円外領域と前記境界領域とを合成する
   ことを特徴とする画像処理方法。
2. 負の歪曲収差を有する対物レンズにより結像された被写体像を固体撮像素子により撮影し取得した全体画像を、該全体画像の中心に所定の半径の円からなる境界線を描いたときの円内領域と、前記境界線上にある境界画素からなる境界領域と、該境界領域の外側にある円外領域とに分割する領域分割手段と、
   該領域分割手段により分割された前記円内領域への画像補正を行う円内領域補正手段と、
   前記領域分割手段により分割された前記境界領域への画像補正を行う境界領域補正手段と、
   該領域分割手段により分割された前記円外領域への画像補正を行う円外領域補正手段と、
   前記円内領域補正手段と前記境界領域補正手段と全体画像補正手段とにおいてそれぞれ補正された前記円内領域と前記円外領域と前記境界画素とを合成する領域合成手段と
   を備え、
   前記円内領域補正手段による前記円内領域への画像補正と、前記境界領域補正手段による前記境界画素への画像補正と、前記円外領域補正手段による前記円外領域への画像補正とが、マルチコアプロセッサを用いて並列して行われるものであることを特徴とする画像処理装置。
3. 前記境界領域補正手段が、
   前記境界画素の端部に２つ形成される境界線との交点を算出する交点算出手段と、
   該交点算出手段により算出された交点を結ぶ直線を描き、この直線により円内側の領域と円外側の領域とに分割して円内領域側の面積と円外領域側の面積とを算出する面積算出手段と、
   該面積算出手段により算出された面積を用いて境界画素の画素補正を行う画素補正手段と
   を備え、
   前記交点算出手段が、Ｎ＋１番目（Ｎは整数）の前記境界画素について交点の算出を行っているとき、前記面積算出手段および前記画素補正手段が、Ｎ番目の前記境界画素について面積の算出および画素補正を行うものであることを特徴とする請求項２記載の画像処理装置。
4. コンピュータに、
   負の歪曲収差を有する対物レンズにより結像された被写体像を固体撮像素子により撮影し取得した全体画像を、該全体画像の中心に所定の半径の円からなる境界線を描いたときの該境界線の内側の円内領域と、前記境界線上にある境界画素からなる境界領域と、該境界領域の外側にある円外領域とに分割し、
   分割した前記円内領域と前記円外領域と前記境界領域とに対しそれぞれ画像補正を並列して行い、
   並列処理により得られた画像補正後の前記円内領域と前記円外領域と前記境界領域とを合成する
   ことを実行させるための画像処理プログラム。

Images