JP2008283343A - 画素ブロックを置換する装置とその方法 - Google Patents

Abstract

【課題】圧縮処理により生じる負荷を低減すると共に、圧縮された画像の情報量を減少させることが可能な画素情報置換装置を得る。
【解決手段】判定部２４２は、撮像素子２２１に接続されて撮像素子２２１が出力する画像信号に対応する画素の位置を取得及び記憶すると共に、内視鏡プロセッサ３００が表示する画像のマスク領域をあらかじめ記憶する。この画素の位置とマスク領域とから、判定部２４２は、第３の圧縮部２３３から出力された圧縮画素ブロックデータの属する画素ブロックが、マスク領域に完全に含まれるか否か判定する。画素ブロックがマスク領域に完全に含まれると判定したとき、判定部２４２は第２のスイッチ２４３をＲＯＭ２４１に接続し、圧縮画素ブロックデータの代わりに「０、ＥＯＢ」からなるデータを内視鏡プロセッサ３００に送信する。
【選択図】図１

Description

本発明は、圧縮する前に画像処理を行う画素情報置換装置に関する。

例えばカプセル内視鏡システムにおいて、カプセル内視鏡は、撮像素子から出力された画像信号を通信手段により外部の画像記録装置へ送信する。画像記録装置は受信した画像を表示手段に表示する。送信する画像信号の情報量を減らすためにカプセル内視鏡内で画像信号を圧縮してから送信する構成が知られている（特許文献１）。
特表２００４−５３６６４４号公報

しかし、画像が表示手段に表示されるとき、不要な部分、例えば画像のうち撮像領域の周縁部などの画質が劣化している箇所は所定の色（例えば黒）によって置換されるマスク処理が行われて表示されない。この表示されない箇所まで圧縮して送信すると、不要な圧縮処理により装置の負荷が高まると共に、不要な画像信号を送信することにより通信手段の負荷も高まる。特に内視鏡装置のように、撮像視野が比較的広角である場合は、撮像領域においてマスク処理されるマスク領域が比較的大きくなるため、無駄な圧縮処理および通信処理が増大する。

本発明はこれらの問題を解決するためになされたものであり、圧縮処理により生じる負荷を低減すると共に、圧縮された画像の情報量を減少させることを目的とする。

本願第１の発明による画素情報置換装置は、表示するときにマスク処理されるマスク領域を有する画像を処理するものであって、マスク領域に含まれる複数の画素からなる画素ブロックの画素情報を、画像の圧縮に適したマスク用画素情報と置き換える置換手段を備えることを特徴とする。

画素情報は輝度情報、又は色差情報が好適である。

画像の圧縮は画素ブロック毎に一定方向へ向けて順に行われるものであって、マスク用画素情報は、マスク領域に完全に含まれる被マスク画素ブロックの画素情報と、マスク領域に含まれない画素を有する画素ブロックのうち画像の圧縮方向において被マスク画素ブロックの前方直近に位置する画素ブロックの画素情報との差分であればなお良い。

画像の圧縮は画素ブロック毎に一定方向へ向けて順に行われるものであって、マスク用画素情報は、マスク領域に含まれない画素を有する画素ブロックのうち、画像の圧縮方向においてマスク領域に完全に含まれる被マスク画素ブロックの前方直近又は後方直近に位置する画素ブロックの画素情報の平均であることが望ましい。

本願第２の発明による画像圧縮装置は、画素情報置換装置と、置換処理により置換が行われた画素ブロックを有する画像を圧縮する画像圧縮手段とを備えることを特徴とする。

画像圧縮手段はＪＰＥＧ圧縮方式により画像を圧縮することが好ましい。

また、マスク用画素情報は、圧縮方向の前方直近に位置する画素ブロックとのＤＣ成分の差分が０であることを示すデータであることが望ましい。ＤＣ成分の差分が０であることを示すデータは、置換される画素ブロックの平均輝度（又は色差）が圧縮方向の前方直近に位置する画素ブロックの平均輝度（又は色差）と同じであることを示す。ＪＰＥＧ圧縮方式では、ＤＣ成分の差分が０であることを示すデータを含む画素ブロックを圧縮すると、「直前の画素ブロックとのDC成分の差分が０である」ことを示す符号と「AC成分が存在しない（ブロック終了）」ことを示す符号しか発生しない。これにより、圧縮処理の量を低減し、圧縮された画像の情報量を減少させることが可能となる。

本願第３の発明による画像入力装置は、画像を入力するために用いられる撮像素子と、撮像素子が出力したアナログ信号をデジタルデータに変換する変換手段とを備え、変換手段はマスク領域に含まれる画素のアナログ信号をデジタルデータへ変換しないことを特徴とする。

画像入力装置における変換手段は、マスク領域に完全に含まれる画素ブロックに属する画素のアナログ信号をデジタルデータへ変換しないことが望ましい。

本願第４の発明による画像圧縮方法は、画素がマスクされて表示されるマスク領域を有する画像を処理するものであって、画素ブロックがマスク領域に含まれるかどうか判断するステップと、マスク領域に完全には含まれない第１の画素ブロックが有する第１の画素情報を記憶するステップと、マスク領域に完全に含まれる第２の画素ブロックが有する第２の画素情報を、第２の画素ブロックの直前又は直後の第１の画素ブロックが有する第１の画素情報の平均と置き換えるステップとを備えることを特徴とする。

本発明によれば、圧縮処理により生じる負荷を低減すると共に、圧縮された画像の情報量を減少させることが可能な画素情報置換装置を得る。

以下、本発明の実施形態について添付図面を参照して説明する。

本発明による画素情報置換装置の一実施形態を有する内視鏡装置について図１を用いて説明する。

内視鏡装置１００は内視鏡２００と内視鏡プロセッサ３００とから構成される。内視鏡２００の先端部には、撮像して画像データを出力する撮像装置２２０と、画像データの圧縮を行う圧縮装置２３０とが設けられる。内視鏡プロセッサ３００は内視鏡装置１００から受信した画像データを展開してマスク処理した後、表示装置３１０に表示する。以下、撮像素子により得られた画像において左から右へ向かう方向を水平方向とし、上から下に向かう方向を垂直方向として説明する。

撮像装置２２０は、被写体を撮像してアナログ信号からなる画像信号を出力する撮像素子２２１と、画像信号をデジタル信号から成る画像データに変換する変換手段であるＡ／Ｄ変換器２２２とから主に構成される。

撮像素子２２１は、平面に行列を形成して並べられた画素毎に画像信号を出力する。出力は、画像上において最も左上の画素が属する行に対して水平方向へ順に行われ、これが終了すると、垂直方向直下の行に対して再度水平方向へ順に行われる。これを繰り返して最も右下の画素に達すると、出力が終了する。Ａ／Ｄ変換器２２２は画像信号を画像データに変換し、画像メモリ２２３は画像データを記憶する。８行８列の正方行列を成す６４個の画素に対応する画像データから１つの画素ブロックデータが形成され、圧縮装置２３０に出力される。

Ａ／Ｄ変換器２２２にはＡ／Ｄクロック生成器２２４が接続され、クロック信号をＡ／Ｄ変換器２２２に供給する。Ａ／Ｄクロック生成器２２４からＡ／Ｄ変換器２２２へ繋がる信号線の導通は、第１のスイッチ２２５により制御される。Ａ／Ｄ変換器２２２へクロック信号を供給する必要がないとき、コントローラ２２６は第１のスイッチ２２５に制御信号を送信し、第１のスイッチ２２５がＡ／Ｄクロック生成器２２４からＡ／Ｄ変換器２２２への信号線を断絶する。

圧縮装置２３０は、画像メモリ２２３から受信した画素ブロックデータをＪＰＥＧ圧縮方式により圧縮処理する。圧縮処理は、画像上において最も左上の画素ブロックが属する行に対して水平方向へ順に行われ、これが終了すると、垂直方向直下の行に対して再度水平方向へ順に行われる。これを繰り返して最も右下の画素ブロックに達すると、処理は終了する。

圧縮処理は、ＤＣＴ及び量子化処理を行う第１の圧縮部２３１と、第１の圧縮部２３１から入力された画素ブロックデータをランレングス圧縮により処理する第２の圧縮部２３２と、第２の圧縮部２３２から入力された画素ブロックデータをハフマン符号化する第３の圧縮部２３３とにより行われる。第３の圧縮部２３３から出力された圧縮画素ブロックデータは、内視鏡プロセッサ３００へ送信される。

圧縮装置２３０には置換装置２４０が設けられる。置換装置２４０は「０、ＥＯＢ（Ｅｎｄ Ｏｆ Ｂｌｏｃｋ）」を表すハフマン符号を記憶（格納）するＲＯＭ２４１と、判定部２４２とからなる。ハフマン符号化用の辞書が動的に変更される場合は、ＲＯＭ２４１の代わりにＲＡＭが用いられる。高速化を目的としてＲＡＭを使用してもよい。

判定部２４２は、コントローラ２２６に接続されて撮像素子２２１が出力する画像信号に対応する画素の位置を取得及び記憶すると共に、内視鏡プロセッサ３００が表示する画像においてマスク領域に完全に含まれる被マスク画素ブロックの位置をあらかじめ記憶する。この画素の位置と被マスク画素ブロックとから、判定部２４２は、画像メモリ２２３から圧縮装置２３０に入力された画素ブロックデータの属する画素ブロックが、被マスク画素ブロックであるか否か判定する。被マスク画素ブロックであると判定したとき、判定部２４２は第２のスイッチ２４３をＲＯＭ２４１に接続し、圧縮画素ブロックデータの代わりに「０、ＥＯＢ」からなるデータを内視鏡プロセッサ３００に送信する。このとき、第１の圧縮部２３１、第２の圧縮部２３２、第３の圧縮部２３３は、動作を停止し、電力をほとんど消費しない。

内視鏡プロセッサ３００は、例えばハードディスクから成るストレージ３２０と、圧縮画像データを展開する展開装置３３０と、展開された画像にマスクを掛けるマスク処理装置３４０と、マスク処理された画像を表示する表示装置３１０とからなる。

ストレージ３２０は圧縮装置２３０から受信した圧縮画素ブロックデータを記憶し、１枚のＪＰＥＧ画像データを作成、記憶する。ＪＰＥＧ画像データは展開装置３３０により公知のＪＰＥＧ展開処理が施される。マスク処理装置３４０は展開された画像に所定のマスクを掛け、表示装置３１０はマスク処理された画像を表示する。

図２を用いて画像メモリ２２３について説明する。

圧縮装置２３０は第１から第３のメモリ領域２１、２２、２３を備える。第１のメモリ領域２１は、次に圧縮装置２３０が圧縮する画素ブロックの画素ブロックデータを記憶する。画素ブロックは８行８列の正方行列を形成する６４個の画素からなる。第２のメモリ領域２２は、圧縮装置２３０が行う一連のＪＰＥＧ圧縮処理のうち離散コサイン変換（ＤＣＴ）による処理がされた後のデータ２４、及び直前に圧縮された画素ブロックのＤＣ成分２５を記憶する。直前に圧縮された画素ブロックのＤＣ成分はハフマン圧縮に用いられる。第３のメモリ領域２３は、ＪＰＥＧ圧縮処理のうちランレングス圧縮処理された後のデータを記憶する。

図３を用いて圧縮装置２３０による画像圧縮処理について説明する。

画像メモリ２２３から圧縮装置２３０に画素ブロックデータが入力されると、この画像圧縮処理が開始する。ステップＳ３１では、判定部２４２が画素ブロックデータに対応する画素ブロックの画像上における位置をコントローラ２２６から取得する。その位置が画像の最初の位置、すなわち画像上において最も左上の画素ブロックであった場合には、ステップＳ３２においてクリア処理が行われる。クリア処理では、第２のメモリ領域２２に記憶されている直前に圧縮された画素ブロックのＤＣ成分の値を、０を入力することによりクリアする。また、画素ブロックがＪＰＥＧ圧縮処理におけるリスタートに該当する場合にもクリア処理が行われる。その後、処理はステップＳ３３へ進む。そして、画像の最初の位置又はリスタートでない場合にはステップＳ３２の処理を行わずにステップＳ３３へ移る。

ステップＳ３３では、入力された画素ブロックデータに対応する画素ブロック全体がマスク領域に含まれるか否か、すなわち被マスク画素ブロックであるか否かが判定される。マスク領域に完全に含まれない場合には、ステップＳ３４からＳ３６において、通常のＪＰＥＧ圧縮処理を行う。すなわち、ステップＳ３４では画素ブロックデータを離散コサイン変換（ＤＣＴ）し、量子化テーブルを用いて量子化する。ステップＳ３５ではさらにランレングス圧縮を行う。そしてステップＳ３６では、第２のメモリ領域２２に記憶されている直前に圧縮された画素ブロックのＤＣ成分の値を用いてハフマン圧縮を行い、これにより作成されたデータを内視鏡プロセッサ３００に出力する。

ステップＳ３３で画素ブロックの全体がマスク領域に含まれる、すなわち被マスク画素ブロックである場合には、ステップＳ３７において画素情報置換処理を行う。画素情報置換処理では、圧縮方向の前方直近に位置する画素ブロックのＤＣ成分との差分が０であることを表すハフマン符号と、画素ブロックのデータが終了することを表すハフマン符号、つまりＥＯＢを出力する。画素ブロックの一部でもマスク領域に含まれないときにはこの処理は行われず、ステップＳ３４からＳ３６において通常のＪＰＥＧ圧縮処理が行われる。

ステップＳ３６またはＳ３７が終了すると、画像圧縮処理はステップＳ３１に戻り、撮像素子２２１から出力された画像が有する全てのブロックに対して実行される。

図４から６を用いて画像圧縮処理された画像について説明する。

図４は撮像素子２２１により撮像された画像である。５行５列の画素ブロックから成り、各画素ブロックは８行８列の画素から成る。各画素ブロックには黒色のカタカナ文字が１文字ずつ記入されており、背景は白色である。破線は画素ブロックの境界を参考として示したものであり、画像には含まれず表示装置３１０に表示されない。圧縮処理は、画像上において最も左上の画素ブロックＢ１１から水平方向へ順に、つまり、Ｂ１２、Ｂ１３、・・・、Ｂ１５の順に行われ、この水平方向の圧縮が終了すると垂直方向に１つ下の画素ブロックＢ２１から再度水平方向へ順に、Ｂ２２、Ｂ２３、・・・、Ｂ２５、Ｂ３１、・・・、Ｂ５４、Ｂ５５の順に行われる。

図５はマスキングされた画像を示したものである。マスク領域５１は画像の周辺に設けられ、画像の中心を四角形に表示する。「ア、イ、エ、オ、カ、コ、タ、ト、ナ、ニ、ネ、ノ」が記された画素ブロックＢ１１、Ｂ１２、Ｂ１４、Ｂ１５、Ｂ２１、Ｂ２５、Ｂ４１、Ｂ４５、Ｂ５１、Ｂ５２、Ｂ５４、Ｂ５５は、マスク領域５１に完全に含まれる。そのため、これらの画素ブロックに対して図３におけるステップＳ３７が実行される。一方、その他のブロック、「ウ、キ、ク、ケ、サ、シ、ス、セ、ソ、チ、ツ、テ、ヌ」が記された画素ブロックＢ１３、Ｂ２２、Ｂ２３、Ｂ２４、Ｂ３１、Ｂ３２、Ｂ３３、Ｂ３４、Ｂ３５、Ｂ４２、Ｂ４３、Ｂ４４、Ｂ５３は、マスク領域５１に完全に含まれない。そのため、これらの画素ブロックに対しては、図３におけるステップＳ３４からＳ３６、すなわち通常のＪＰＥＧ圧縮処理が実行される。

図６はＪＰＥＧ圧縮処理された画像をＪＰＥＧ展開処理した画像を示した図である。以下、説明のため画像はグレースケールで表され、画素情報置換処理は輝度情報に対して行われる。

図４において「ア、イ」が記された画素ブロックＢ１１、Ｂ１２のハフマン符号は０とＥＯＢに置換されている。これらの画素ブロックに対する前方直近の置換処理されない画素ブロックは存在しないため、これらの画素ブロックは輝度５０％のグレーで塗りつぶされる。ＪＰＥＧ圧縮処理においては、ＤＣＴ変換する前に画素データは画素値から１２８を引くレベルシフト処理される一方、ＪＰＥＧ展開処理の際は、逆ＤＣＴ変換して得られた画像データに１２８を加算する。その結果、これらの画素ブロックの輝度は１２８、すなわち最高輝度に対応する値２５５のおよそ半分となるので、これらの画素ブロックは輝度約５０％のグレーで塗りつぶされる。

「エ、オ、カ」が記された画素ブロックＢ１４、Ｂ１５、Ｂ２１に対する前方直近の置換処理されない画素ブロックは「ウ」Ｂ１３であるため、これらの画素ブロックは、「ウ」Ｂ１３の平均輝度で塗りつぶされる。同様にして、「コ、タ」が記された画素ブロックＢ２５、Ｂ４１に対する前方直近の置換処理されない画素ブロックは、それぞれ「ケ」Ｂ２４、「ソ」Ｂ３５であるため、これらの画素ブロックはそれぞれ「ケ」Ｂ２４、「ソ」Ｂ３５の平均輝度で塗りつぶされる。

「ト、ナ、ニ」が記された画素ブロックＢ４５、Ｂ５１、Ｂ５２、「ネ、ノ」が記された画素ブロックＢ５４、Ｂ５５についても同様にしてそれぞれ「テ」Ｂ４４、「ヌ」Ｂ５３の平均輝度で塗りつぶされる。

本実施形態によれば、内視鏡の先端部に設けられた撮像素子２２１が出力した画像信号に対し、画素ブロックを置換する処理を行うことにより、送信する画像データの情報量を低減して通信負荷を低減することができる。

なお、マスク領域５１は画像を四角形に表示するものでなく、円形に表示するものでも良い。画像周辺に生じる画像の劣化部分を効率よく覆うことが可能となる。

またステップＳ３３で画素ブロックの全体がマスク領域に含まれる場合には、Ａ／Ｄ変換器２２２はその画素ブロックに属する画素をデジタル信号に変換しなくても良い。このとき、判定部２４２は画素ブロックの全体がマスク領域に含まれると判定し、コントローラ２２６に制御信号を送信する。信号を受信したコントローラ２２６は、Ａ／Ｄクロック生成器２２４からのクロック信号がＡ／Ｄ変換器２２２に送信されないように第１のスイッチ２２５を切断する。これによりＡ／Ｄ変換器２２２は動作を中止するため、Ａ／Ｄ変換器２２２が使用する電力を削減することが可能となる。

なお、ステップＳ３７において出力されるハフマン符号は、圧縮方向における後方直近の画素ブロックのＤＣ成分及びＥＯＢでも良い。このとき、後方直近の画素ブロックがＪＰＥＧ圧縮処理されるまで、マスク領域に含まれる画素ブロックのＤＣ成分及びＥＯＢの出力は行われない。後方直近の画素ブロックの画素情報をＪＰＥＧ圧縮処理してＤＣ成分を得た後に、このＤＣ成分をマスク領域に含まれる画素ブロックのＤＣ成分として出力する。これにより後方直近の画素ブロックとの視覚における違和感を少なくすることが可能になる。

また、グレースケール画像ではなく、同様の処理によりカラー画像に画素情報置換処理を行っても良い。

そして、画素情報置換処理は平均輝度でなく、ＲＧＢ信号や、色差信号に対して適用されても良い。

マスク領域は画像の周辺領域に限定されず、例えばユーザに注意喚起するために表示されるアイコンにより覆われる領域をマスク領域としてもよい。

本発明の一実施形態による画素情報置換装置を有する内視鏡装置のブロック図である。 メモリマップを示した図である。 画素情報置換処理を示したフローチャートである。 撮像素子が撮像した画像を模式的に示した図である。 マスクを掛けて表示された画像を模式的に示した図である。 圧縮された画像を展開して得られた画像を模式的に示した図である。

符号の説明

１００ 内視鏡装置
２００ 内視鏡
３００ 内視鏡プロセッサ
２２０ 撮像装置
２３０ 圧縮装置
２４０ 置換装置
２４１ ＲＯＭ
２４２ 判定部
２４３ 第２のスイッチ

Claims (11)

1. 表示するときにマスク処理されるマスク領域を有する画像を処理する画素情報置換装置において、
   前記マスク領域に含まれる複数の画素からなる画素ブロックの画素情報を、画像の圧縮に適したマスク用画素情報と置き換える置換手段を備える画素情報置換装置。
2. 前記画素情報は輝度情報である請求項１に記載の画素情報置換装置。
3. 前記画素情報は色差情報である請求項１に記載の画素情報置換装置。
4. 画像の圧縮は画素ブロック毎に一定方向へ向けて順に行われるものであって、
   前記マスク用画素情報は、前記マスク領域に完全に含まれる被マスク画素ブロックの画素情報と、前記マスク領域に含まれない画素を有する画素ブロックのうち画像の圧縮方向において前記被マスク画素ブロックの前方直近に位置する画素ブロックの画素情報との差分である請求項１に記載の画素情報置換装置。
5. 画像の圧縮は画素ブロック毎に一定方向へ向けて順に行われるものであって、
   前記マスク用画素情報は、前記マスク領域に含まれない画素を有する画素ブロックのうち、画像の圧縮方向において前記マスク領域に完全に含まれる被マスク画素ブロックの前方直近又は後方直近に位置する画素ブロックの画素情報である請求項１に記載の画素情報置換装置。
6. 請求項１に記載の画素情報置換装置と、
   前記置換手段により置換が行われた画素ブロックを有する画像を圧縮する画像圧縮手段とを備える画像圧縮装置。
7. 前記画像圧縮手段はＪＰＥＧ圧縮方式により画像を圧縮する請求項６に記載の画像圧縮装置。
8. 前記マスク用画素情報は圧縮方向の前方直近または後方直近に位置する前記画素ブロックとのＤＣ成分の差分が０であることを示すデータである請求項７に記載の画像圧縮装置。
9. 請求項１に記載の画素情報置換装置と、
   画像を入力するために用いられる撮像素子と、
   前記撮像素子が出力したアナログ信号をデジタルデータに変換する変換手段とを備え、
   前記変換手段は、前記マスク領域に含まれる画素のアナログ信号をデジタルデータへ変換しない画像入力装置。
10. 前記変換手段は、前記マスク領域に完全に含まれる前記画素ブロックに属する画素のアナログ信号をデジタルデータへ変換しない請求項９に記載の画像入力装置。
11. 画素がマスクされて表示されるマスク領域を有する画像を処理するための画素圧縮方法において、
    画素ブロックが前記マスク領域に含まれるかどうか判断するステップと、
    前記マスク領域に含まれない第１の画素ブロックが有する第１の画素情報を記憶するステップと、
    前記マスク領域に含まれる第２の画素ブロックが有する第２の画素情報を、前記第２の画素ブロックの直前又は直後の前記第１の画素ブロックが有する前記第１の画素情報と置き換えるステップとを備える画像圧縮方法。

Images