JP2006237863A - 画像処理方法および画像処理装置 - Google Patents

Abstract

【課題】 画像上の白色領域を狭めることなく、画像全体のぼやけ感を発生させずに、輪郭強調を施し、画像全体の先鋭感を向上させる画像処理方法を提供する。
【解決手段】 この画像処理方法は、画素から構成される入力画像データを補正する画像処理方法であって、入力画像データを二次微分して二次微分データを出力する二次微分ステップと、二次微分データから補正基準位置を算出する補正基準位置算出ステップと、補正基準位置から補正範囲を算出する補正範囲算出ステップと、入力画像データを構成する画素の内、補正基準位置を基準に補正範囲に存在する画素のレベル値を補正する画像補正ステップを備える。
【選択図】 図１

Description

本発明は、画素から構成されるデジタル信号である画像データの輪郭強調などの画像補正を行う、画像処理方法および画像処理装置に関するものである。

従来から、デジタル信号による画像信号を表示するデジタルテレビやＰＤＰなどの画像表示機器が市場に多く流通するようになっている。これらのデジタル信号による画像データは、画素から構成されており、種々の画像処理によりより見やすい画像表示が行われている。

例えば、画像の輪郭部分を補正することで、画像の先鋭感を増加させるなどが行われていた。画像における、物体などの輪郭部分、即ちエッジ部分のコントラストを強調する補正により、輪郭部分が強調されて先鋭感やシャープネスの向上した画像を表示することができる。なお、輪郭部分は輝度が大きく変化する部分であるため、画像のレベル値が大きく変化する部分である。このため、縦軸をレベル値とし横軸を画素の水平位置とした画像の波形図において、縦軸方向の変化量の大きな部分が輪郭部分である。例えばレベル値の低い状態（黒に近い状態）から、レベル値が高くなる（白に近づく）部分が、表示画像の輪郭部分である。

この輪郭強調の補正として、入力画像のレベル値が変化する部分の変化度合いを急峻にする補正の技術が提案されていた（例えば特許文献１参照）。

この補正技術によれば、画像のレベル値の変化度合いが急峻となるため、輪郭部分が強調され、先鋭感やシャープネスが向上する。

図１０（ａ）〜図１０（ｄ）は従来の技術における画像補正の処理を表している。図１０（ａ）は入力画像の模式図であり、図１０（ｂ）は入力画像データの波形図であり、図１０（ｃ）は補正後の画像データの波形図であり、図１０（ｄ）は出力画像の模式図である。

図１０（ｃ）から明らかなように、画像データのレベル値の変化部分が、急峻に補正されており、結果として輪郭部分が強調される。

入力画像１００は、黒色領域１０１と白色領域１０２を含み、黒色領域１０１、白色領域１０２、黒色領域１０１の順序をもつ縞模様の画像である。白色領域１０２は、幅１１０を有している。

入力画像の波形データ１０３は、縦軸をレベル、横軸を水平画素位置として、図１０（ｂ）に表される形態である。黒色部分１０５はレベル値が低く、白色部分１０６はレベル値が高い。また入力画像１００の輪郭領域、即ち黒色領域１０１と白色領域１０２との境界は、波形データ１０３では変化部分１０４の形態となる。

補正後の波形データ１０７は、変化部分１０８が急峻な形状に補正されている。この急峻な形状に補正されることで、輪郭部分の輝度変化が急峻となり、輪郭強調がなされる。

補正の結果、補正後の画像１０９が生成、表示される。

しかしながら、従来の技術における画像処理方法では、次のような問題点を有していた。

図１０（ｃ）から明らかな通り、変化部分１０８が急峻に補正されたことで、白色領域１０７の領域が少なくなってしまう問題があった。即ち、図１０（ｄ）に表されるように、白色領域１０２の幅１１１は、補正前の白色領域１０２の幅１１０よりも狭くなってしまう問題があった。

また、画像データの変化部分１０４を急峻に補正する場合に、補正の基準位置を定めずに補正していたので、本来の輪郭部分とずれた位置に補正後の輪郭部分が表示されるため、画像が膨らむ部分と狭まる部分とが混在してしまい、ぼやけ感が発生する問題もあった。
特開２０００−３２２９８号公報（第５頁、図１、図２）

そこで本発明は、画像上の白色領域を狭めることなく、画像全体のぼやけ感を発生させずに、輪郭強調を施し、画像全体の先鋭感を向上させる画像処理方法および画像処理装置を提供することを目的とする。

第１の発明の画像処理方法は、画素から構成される入力画像データを補正する画像処理方法であって、入力画像データを二次微分して二次微分データを出力する二次微分ステップと、二次微分データから補正基準位置を算出する補正基準位置算出ステップと、補正基準位置から補正範囲を算出する補正範囲算出ステップと、入力画像データを構成する画素の内、補正基準位置を基準に補正範囲に存在する画素のレベル値を補正する画像補正ステップを備える。

補正基準位置を設けて画素の補正を行うので、輪郭位置のずれなどによる白色領域の減少などを生じさせずに画素を補正して、輪郭部分の強調を実現できる。

第２の発明の画像処理方法では、補正基準位置算出ステップでは、二次微分データのレベル値が特定値となる点を補正基準位置とする。

二次微分データのレベル値が特定値となる点を補正の基準とすることで、補正基準位置が輪郭部分の略中央値の位置となり、輪郭近傍の色領域の面積減少を生じさせずに、輪郭強調の補正が実現できる。

第３の発明の画像処理方法では、特定値は、値「０」である。

以上の構成により、レベル値が値「０」となる点が補正の基準とされ、輪郭部分の略中央の位置が補正基準位置として算出される。これにより、輪郭近傍の色領域の面積減少を生じさせずに、輪郭強調補正が実現される。

第４の発明の画像処理方法では、補正範囲算出ステップにおいて、補正基準位置と隣接する画素とのレベル値の差分値を算出し、入力画像データの水平位置軸における補正基準位置の正負の領域に差分値を当てはめ、当てはめられた範囲を補正範囲として算出する。

補正基準位置と隣接する画素のレベルの差分値は、輪郭部分においてレベル値変化が緩やかである範囲を表すので、この範囲を補正範囲とすることで、輪郭強調のためのレベル値の変化度合いを急峻にすることができる。

第５の発明の画像処理方法は、二次微分ステップの前に入力画像データを一次微分する一次微分ステップを備え、補正範囲算出ステップは、補正基準位置を基準として左右に存在する一次微分後の画素の内、隣接画素との差分値の絶対値が所定値以上となる領域を補正範囲として算出する。

この範囲が補正範囲とされることで、輪郭強調のためのレベル値の変化度合いを急峻にすることができる。

第６の発明の画像処理方法では、画像補正ステップにおいて、補正範囲に存在する画素と補正基準位置とのレベル値の差分を広げることにより補正する。

補正基準位置を基準としてレベル差を広げる補正により、レベル値の変化部分の変化度合いが急峻となり、輪郭部分の強調が実現される。さらに、補正基準位置のレベル値は変化しないため、輪郭位置の変動による白色領域の減少なども生じない。

第７の発明の画像処理方法では、画像補正ステップにおいて、補正範囲に存在する画素であって、補正基準位置を基準として水平位置の負の領域に存在する画素はそのレベル値を下げ、水平位置の正の領域に存在する画素はそのレベル値を上げ、補正基準位置に存在する画素のレベルは変化させない補正を行う。

補正基準位置の近傍画素のレベル差が広がるように変化するため、レベル値の変化部分の変化度合いが急峻となる。さらに、補正基準位置のレベル値は変化しないため、輪郭位置の変動による白色領域の減少なども生じない。

第８の発明の画像処理方法では、画像補正ステップにおいて、補正範囲に存在する画素を、補正範囲外であって隣接する画素に置き換える補正を行う。

補正基準位置の近傍画素のレベル差が広がるように変化するため、レベル値の変化部分の変化度合いが急峻となる。さらに、補正基準位置のレベル値は変化しないため、輪郭位置の変動による白色領域の減少なども生じない。

第９の発明の画像処理方法では、画像補正ステップでは、入力画像データに含まれる任意の画素を被置換画素とし、被置換画素に対して補正基準位置と対向する領域に存在する画素であって、被置換画素と補正基準位置との距離量に対して単調減少する距離に存在する画素を置換画素として、被置換画素を置換画素と置き換える補正を行う。

補正基準位置の近傍画素のレベル差が広がるように変化するため、レベル値の変化部分の変化度合いが急峻となる。さらに、補正基準位置のレベル値は変化しないため、輪郭位置の変動による白色領域の減少なども生じない。

第１０の発明の画像処理方法は、画素から構成される入力画像を、画素を構成する複数の発光素子（サブピクセル）に補間する補間ステップをさらに備える。

より精密なレベルでの輪郭強調が実現される。

第１１の発明の画像処理装置は、画素から構成される入力画像データを補正する画像処理装置であって、入力画像データを二次微分して二次微分データを出力する二次微分演算部と、二次微分データから補正基準位置を算出する補正基準位置算出部と、補正基準位置から補正範囲を算出する補正範囲算出部と、入力画像データを構成する画素の内、補正基準位置を基準に補正範囲に存在する画素のレベル値を補正する画像補正部を備える。

補正基準位置を設けて画素の補正を行うので、輪郭位置のずれなどによる白色領域の減少などを生じさせずに画素を補正して、輪郭部分の強調を実現できる。

第１２の発明の画像処理装置は、補正基準位置算出部は、二次微分データのレベル値が特定値となる点を補正基準位置とする。

二次微分データのレベル値が値「０」となる点を補正の基準とすることで、補正基準位置が輪郭部分の略中央値の位置となり、輪郭近傍の色領域の面積減少を生じさせずに、輪郭強調の補正が実現できる。

第１３の発明の画像処理装置は、入力画像データを一次微分する一次微分演算部を備え、補正範囲算出部は、補正基準位置を基準として左右に存在する一次微分後の画素の内、隣接画素との差分値の絶対値が所定値以上となる領域を補正範囲として算出する。

この範囲が補正範囲とされることで、輪郭強調のためのレベル値の変化度合いを急峻にすることができる。

第１４の発明の画像処理装置は、画像補正部は、補正範囲に存在する画素と補正基準位置とのレベル値の差分を広げることにより補正する。

補正基準位置を基準としてレベル差を広げる補正により、レベル値の変化部分の変化度合いが急峻となり、輪郭部分の強調が実現される。さらに、補正基準位置のレベル値は変化しないため、輪郭位置の変動による白色領域の減少なども生じない。

第１５の発明の画像処理装置は、画像補正部は、補正範囲に存在する画素であって、補正基準位置を基準として水平位置の負の領域に存在する画素はそのレベル値を下げ、水平位置の正の領域に存在する画素はそのレベル値を上げる補正を行う。

補正基準位置の近傍画素のレベル差が広がるように変化するため、レベル値の変化部分の変化度合いが急峻となる。さらに、補正基準位置のレベル値は変化しないため、輪郭位置の変動による白色領域の減少なども生じない。

第１６の発明の画像処理装置は、画像補正部は、補正範囲に存在する画素を、補正範囲外であって隣接する画素に置き換える補正を行う。

補正基準位置の近傍画素のレベル差が広がるように変化するため、レベル値の変化部分の変化度合いが急峻となる。さらに、補正基準位置のレベル値は変化しないため、輪郭位置の変動による白色領域の減少なども生じない。

第１７の発明の画像処理装置は、画像補正部は、入力画像データに含まれる任意の画素を被置換画素とし、被置換画素に対して補正基準位置と対向する領域に存在する画素であって、被置換画素と補正基準位置との距離量に対して単調減少する距離に存在する画素を置換画素として、被置換画素を置換画素と置き換える補正を行う。

補正基準位置の近傍画素のレベル差が広がるように変化するため、レベル値の変化部分の変化度合いが急峻となる。さらに、補正基準位置のレベル値は変化しないため、輪郭位置の変動による白色領域の減少なども生じない。

第１８の発明の画像処理装置は、画素から構成される入力画像を、画素を構成する複数の発光素子（サブピクセル）に補間する補間部をさらに備える。

より精密なレベルでの輪郭強調が実現される。

以上のように、本発明によれば、画像の輪郭部分を強調して、先鋭感やシャープネスの高い画像を実現できる。

さらに、補正基準位置を設けて補正範囲を定めて補正することで、白色領域の減少や、画像中の物体の面積増減などによる画像全体のぼやけ感なども生じさせない。これらの問題を生じさせること無く、画像の輪郭強調を実現できる。

これらにより、ぼやけ感などを生じさせること無く、先鋭感やシャープネスの高い画像を実現できる。

以下、図面を参照しながら、本発明の実施の形態を説明する。

（実施の形態１）
まず、図１（ａ）〜図１（ｄ）を用いて本発明の実施の形態１における画像処理方法および画像処理装置について説明する。

図１（ａ）は、本発明の実施の形態１における入力画像データの波形図、図１（ｂ）は、本発明の実施の形態１における入力画像データの一次微分後の波形図、図１（ｃ）は本発明の実施の形態１における入力画像データの二次微分後の波形図、図１（ｄ）は、本発明の実施の形態１における補正後の補正画像データの波形図である。各図の横軸は水平画素位置であり、画素の水平方向の位置座標を表している。縦軸は、レベルであり、画素の有するレベル値を表している。ここでは、レベルは画素の有する輝度レベルを用いるのが好適であり、レベルの最大値は画像の白色部分を示し、レベルの最小値は画像の黒色部分を示す。レベルが変化する部分は画像の輪郭部分を示す。輪郭部分は輝度成分においては灰色部分に該当する。

なお、輝度成分のレベルではなく、ＲＧＢなどの画素の有する他の成分のレベルであってもよい。

入力画像データ１は、画素から構成されるデジタル画像データであり、図１（ａ）では画素５から画素１３までの９つの画素が表されている。

画素５から画素１３はそれぞれのレベル値を有しており、図１（ａ）では画素５から画素１３にかけて徐々にそのレベル値が増加している。即ち、水平方向で左から右に向けて黒色から徐々に白色に変化していく画像であり、途中の変化部分に輪郭部分が存在する画像である。

一次微分データ２は、入力画像データ１に対して一次微分を施した結果である。微分回路や微分演算処理などを用いて、一次微分データ２が算出される。

二次微分データ３は、一次微分データ２をさらに微分する、あるいは入力画像データ１に対する二次微分処理により算出される。

ここで、補正基準位置１４は、二次微分データ３が特定値と交差する点から算出される。なお、特定値は、任意に定められれば良いが、値「０」が好ましい。補正基準位置１４は、入力画像データ１に対して輪郭強調を施すための補正における基準位置となる。また、この補正基準位置１４は、多くの場合輪郭部分の略中央になるが、入力画像データ１の状態によっては、略中央以外の部分になることもある。図１（ｃ）では、画素９が補正基準位置１４になる。なお、図１（ｃ）では説明の便宜のために画素の存在する位置を補正基準位置１４としたが、画素と画素の間などであってもよい。

また、補正基準位置１４は、入力画像データ１をフィルタ処理した後の波形の輝度値が、負から正になる点、もしくは正から負になる点のいずれかが用いられてもよい。

補正基準位置１４が算出されると、差分値１５が算出される。差分値１５は、補正基準位置１４と隣接する画素（図１（ｃ）では画素８もしくは画素１０）とのレベル値の差分である。補正範囲１６は、この差分値１５を補正基準位置１４から水平軸方向に置き換えた範囲である。このとき、補正基準位置１４の前後、即ち水平軸方向での補正基準位置の正負領域の両方に差分値１５を置き換えた範囲が補正範囲１６となる。

あるいは、一次微分後の画素において、隣接画素との差分値の絶対値が所定値以上となる領域を補正範囲１６としても良い。例えば、一次微分後の画素が、隣接する画素と所定値以上の差分を有する範囲を、そのまま補正範囲１６とする。所定値未満の差分しか有していない範囲は、補正範囲外とされる。

このように、入力画像データ１に対して二次微分を実行することで、輪郭強調補正を行うのに必要となる補正基準位置１４と補正範囲１６が算出される。

次いで、図１（ｄ）に表されるように、この補正基準位置１４と補正範囲１６に基づいて、入力画像データ１に対して補正が行われて、輪郭強調が実現される。図１（ｄ）では、補正基準位置は画素９であり、補正範囲は画素８と画素１０を含む。このため、画素８と画素１０に対して補正を行うことで、白色領域の減少などの従来問題を生じさせずに、輪郭強調が実現される。

補正画像データ４は、補正画素５’から補正画素１３’から構成されており、補正されて出力された画像データである。

補正画素５’、補正画素６’、補正画素７’は、補正範囲１６の対象外であるので、入力画像データ１に含まれていた画素５、画素６、画素７のレベル値のままである。補正画素９’は補正基準位置１４に対応するので、入力画像データ１に含まれていた画素９のレベル値のまま出力される。補正画素１１’、補正画素１２’、補正画素１３’も同様に補正範囲１６の対象外であるので、入力画像データ１に含まれていた画素１１、画素１２、画素１３のレベル値のまま出力される。

これらに対して、補正画素８’と補正画素１０’は補正範囲１６に含まれる画素であるので、これらのレベル値は補正されて出力される。補正画素８’と補正画素１０’は、補正基準位置１４のレベル値との差分が拡大するように補正される。差分拡大１７は、補正範囲に存在する画素のレベル値と補正基準位置１４との差分を拡大する補正を表している。

ここで、補正基準位置１４との差分拡大１７により補正されるので、補正基準位置１４を基準とした正側に存在する画素１０はレベル値が増加する方向で補正される。逆に、補正基準位置１４を基準とした負側に存在する画素８はレベル値が減少する方向で補正される。

以上のように補正することで、補正基準位置１４が動くことなく、補正基準位置の前後の画素が補正基準位置１４から垂直軸方向で遠ざかるので、図１（ｄ）に表されるように画像データの変化部分が急峻となる。これにより、輪郭部分（変化部分である）が強調される。

具体的には、図１（ｄ）では、補正画素５’、６’、７’、８’がほぼ黒色であり、補正画素９’付近が輪郭部分（灰色部分）であり、補正画素１０’、１１’、１２’、１３’が白色部分となる。補正前の入力画像データ１では、図１（ａ）に表されるように、画素５、６、７が黒色部分であり、画素８、９、１０が輪郭部分（灰色部分）であり、画素１１、１２、１３が黒色部分である。この比較から明らかな通り、輪郭部分は減少しており、コントラスト上の対比となる白色部分と黒色部分はそれぞれ拡大している。結果として、輪郭部分はより鋭く強調され、先鋭感の高い画像に補正されている。さらに、従来技術の補正と異なり、補正基準位置１４を基準に補正しているので、白色領域が減少するなどの問題も生じない。このため、画像全体でのぼやけ感なども生じない。

次に、図２、図３を用いて、他の補正処理の方法について説明する。

図２、図３は、本発明の実施の形態１における画像処理方法の補正画像データの波形図である。なお、入力画像データは図１（ａ）と同じであり、補正基準位置１４と補正範囲１６の算出も図１（ｃ）などで説明したのと同じである。

図２では、補正基準位置１４を基準として水平軸の正側の補正範囲１６に存在する画素のレベル値を増加させ、負側の補正範囲１６に存在する画素のレベル値を減少させる補正が行われる。

ここでは、補正範囲１６に存在する画素は画素８と画素１０であり、画素８が補正基準位置１４の負側に存在し、画素１０が補正基準位置１４の正側に存在する。このためレベル値減少１８は、負側に存在する画素８に対して施される。レベル値増加１９は、正側に存在する画素１０に対して施される。補正基準位置１４に対応する画素９には、レベル値の変動は施されない。補正画素１０’はレベル値増加１９の補正が施された補正後の画素である。補正画素８’はレベル値減少１８の補正が施された補正後の画素である。

以上の補正が施されることで、画像データのレベル値の変化部分、即ち輪郭部分のレベル値変化がより急峻になる。これにより、輪郭部分が強調され先鋭感の高い画像が実現される。

さらに、図１（ｄ）と同様に、補正は、補正基準位置１４を基準として補正範囲１６に存在する画素に対してのみ行われる。この結果、補正画素５’、６’、７’、８’が表示画像の黒色部分の領域を形成する。補正画素９’が表示画像の輪郭部分の領域を形成する。補正画素１０’、１１’、１２’、１３’が表示画像の白色部分の領域を形成する。これより明らかな通り、白色領域の減少などの従来問題は生じない。また画像全体のぼやけ感も生じない。

次に図３では、マルチプレクサ２０が入力画像データ１を構成する画素５〜画素１３を選択して、補正画素とし、補正後の画像データ４を形成する。補正基準位置１４と補正範囲１６がマルチプレクサ２０に制御信号２２として入力し、マルチプレクサ２０の選択制御が行われる。

入力画像データ１を構成する画素５〜画素１３は例えばメモリやレジスタなどに、マルチプレクサ２０の制御信号２２による選択まで一時的に保持されるようにしてもよい。

この補正においては、補正基準位置１４に対応する画素９がそのまま補正画素９’に選択されて出力される。次いで、補正範囲１６の範囲外の画素５、画素６、画素７、画素１１、画素１２、画素１３がそのまま、補正画素５’、補正画素６’、補正画素７’、補正画素１１’、補正画素１２’、補正画素１３’に選択されて出力される。一方、補正範囲１６範囲内にある画素８、画素１０に対応する補正画素８’と１０’には、その補正範囲外であって隣接する画素７と画素１１がそれぞれ選択されて出力される。即ち、補正画素８’には画素７が割り当てられ、補正画素１０’には画素１１が割り当てられる。

以上のような補正により、図３に表されるように、画像データの変化部分である輪郭領域のレベル値変化は、入力画像より急峻になり輪郭部分が強調される。

さらに、図１（ｄ）と同様に、補正は、補正基準位置１４を基準として補正範囲１６に存在する画素に対してのみ行われる。この結果、補正画素５’、６’、７’、８’が表示画像の黒色部分の領域を形成する。補正画素９’が表示画像の輪郭部分の領域を形成する。補正画素１０’、１１’、１２’、１３’が表示画像の白色部分の領域を形成する。これより明らかな通り、白色領域の減少などの従来問題は生じない。また画像全体のぼやけ感も生じない。

また、これら以外の補正が行われても良い。

例えば、入力画像データに含まれる任意の画素を被置換画素とする。この被置換画素に対して、補正基準位置１４と対向する領域に存在する画素であって、被置換画素と補正基準位置１４との距離量に対して単調減少する距離に存在する画素を置換画素とする。この被置換画素を置換画素と置き換えることで補正が行われる。

すなわち、補正基準位置１４に近い画素ほど、より遠い位置に存在する画素により置き換えられる。

以上の補正による効果を図４（ａ）〜図４（ｄ）を用いて説明する。

図４（ａ）は、本発明の実施の形態１における入力画像の模式図である。図４（ｂ）は、本発明の実施の形態１における入力画像データの波形図であり、図４（ｃ）は、本発明の実施の形態１における補正画像データの波形図である。図４（ｄ）は、本発明の実施の形態１における補正画像の模式図である。

図４（ａ）の入力画像３０は、二つの黒色領域３１が白色領域３２を挟んでおり、その境界には輪郭部分３３が存在する。図４（ａ）から明らかな通り、輪郭部分３３は広い範囲を占めている。

この入力画像３０を波形データにしたものが入力画像データ１であり、レベル値変化をもった波形図になる。縦軸がレベル値であり、横軸が水平画素位置である波形図である。黒色部分３４は、レベル値が低く、白色部分３５はレベル値が高い。また、変化部分３６（輪郭部分３３に相当する）はレベル値の変化が大きな部分である。

この入力画像データ１に対して、図１（ｄ）、図２、図３などで説明した補正を施した補正画像データ４が、図４（ｃ）に表されている。補正は、補正基準位置１４を基準に、補正範囲１６に存在する画素に対してのみ行われる。結果として、図４（ｃ）に表されるように補正基準位置１４のレベル値は変動せず、変化部分３６のレベル値変化がより急峻となり、変化部分３６の領域幅は狭くなる。また白色部分３５と黒色部分３４はそれぞれ狭くなることはない。

この補正画像データ４を、実際の画像として表した画像が、補正画像３７である。補正画像３７は、図４（ｄ）から明らかな通り、補正により、変化部分３６に相当する輪郭部分３３が狭くなっている。さらに、白色領域３２と黒色領域３１のそれぞれは増加している。

この輪郭部分３３の減少により、輪郭部分３３が強調され、よりエッジ感とシャープネスの高い、先鋭感の向上した補正画像３７が出力される。また、白色領域３２や黒色領域３１の減少などもなく、画像全体のぼやけ感も発生しない。

以上より、本発明の画像処理方法および画像処理装置は、ぼやけ感や白色領域の減少などの問題を生じさせずに、先鋭感の高い画像を実現できる。

なお、以上は画素精度を有する入力画像に対する補正として説明したが、入力画像が画素を構成する複数の発光素子（サブピクセル）精度を有する場合でもよい。サブピクセル精度の画像に対して、同様の補正を行うことで、より高精細な輪郭強調が実現される。また、入力画像が画素精度であっても、補間部を設けてサブピクセル精度に補間して補正を行うことも好適である。補間には、単純補間や線形補間、倍キュービック補間などが用いられる。

次に、図５を用いて本発明の画像処理方法および画像処理装置の処理手順について説明する。

図５は、本発明の実施の形態１における画像処理のフローチャートである。

まず、ステップ１にて、デジタル画像である画素から構成される入力画像が画像入力する。

次に、必要に応じてステップ２にて、画素から構成される入力画像が、画素を構成する複数の発光素子（サブピクセル）に補間される。なお、この補間処理は不要な場合には設ける必要はない。

次いで、ステップ３にて入力画像が一次微分される。一次微分は、二次微分の前提として行われるが、二次微分を一度に実行できる場合には不要である。

次に、ステップ４にて、入力画像が二次微分され二次微分データが出力される。二次微分データが出力された後、ステップ５にて、二次微分データのレベル値が値「０」となるゼロ点が抽出される。

次に、ステップ６にて、抽出されたゼロ点が補正基準位置として算出される。この補正基準位置が、画像補正を行う際の位置の基準となる。さらに、ステップ７にて、算出された補正基準位置と隣接する画素とのレベル値の差分値が算出される。次いで、ステップ８にて、補正範囲が算出される。算出される補正範囲は、補正基準位置を基準に、入力画像データの水平方向の正負両方にステップ７にて算出された差分値の及ぶ領域である。この補正範囲に存在する入力画像データの含む画素のみが、補正の対象となる。

次に、ステップ９にて補正が行われる。補正は、補正範囲に存在する画素のレベル値を補正することで行われる。具体的には、補正は、補正範囲に存在する画素と補正基準位置とのレベル値の差分値が増加するように、補正範囲内にある画素のレベル値を変化させることで実現される。あるいは、補正は、補正基準位置を基準とした補正範囲の正側にある画素のレベル値を入力時よりも増加させ、逆に補正範囲の負側にある画素のレベル値を入力時よりも減少させることで実現される。あるいは、補正は、補正範囲内に存在する画素を、これと隣接する補正範囲外の画素に置き換えることで実現される。補正は、いずれの方法を用いてもよい。

次に、ステップ１０にて、補正後の画像が出力され、最終的に補正画像が表示される。

従来の技術における画像処理方法や画像処理装置では、輪郭強調補正の基準位置を設けることなく、画像データのレベル値の変化部分を急峻にするだけであった。このため、白色領域の減少などや、物体面積の変動などによる画像全体のぼやけ感が生じていた。

これに対して、本発明の画像処理方法および画像処理装置では、補正基準位置と補正範囲を算出した上で補正を行うので、白色領域の減少や、物体面積の変動などによる画像全体のぼやけ感を生じさせることが無い。その上で輪郭強調の補正が行われる。

以上により、白色領域の減少などを生じさせること無く、先鋭感の高い画像が実現される。

（実施の形態２）
次に、図６を用いて本発明の実施の形態２における画像処理装置について説明する。図６は、本発明の実施の形態２における画像処理装置のブロック図である。

画像処理装置５０は、画素から構成される入力画像データ５１を補正する画像処理装置である。ここで、画像処理装置５０は、入力画像データ５０を二次微分して二次微分データを出力する二次微分演算部５５と、二次微分データから補正基準位置６７を算出する補正基準位置算出部５７と、補正基準位置６７から補正範囲を算出する補正範囲算出部５８と、入力画像データ５１を構成する画素の内、補正範囲６８に存在する画素のレベル値を補正する画像補正部５９を備えている。また、画像処理装置５０は、補正基準位置５７を算出するために、二次微分データのレベル値「０」となるゼロ点を抽出するゼロ点抽出部５６を備えている。

また、これら以外に、必要に応じて補間部５２、画像保持部５３、一次微分演算部５４を備える。

補間部５２は、画素精度の入力画像５１をサブピクセル精度画像に補間する。単純補間や線形補間、キュービック補間などが用いられる。画像保持部５３は、画像補正に必要な補正基準位置６７や補正範囲６８を算出する間、入力画像データ５１を一時的に保持する。

一次微分演算部５４は、二次微分の前提として入力画像データ５１を一次微分して一次微分データを出力する。なお、二次微分演算部５５が入力画像データ５１から直接二次微分を行う場合には、一次微分演算部５４は不要である。

二次微分演算部５５は、入力画像データ５１を二次微分して、二次微分データを出力する。二次微分データが算出されると、ゼロ点抽出部５６は、二次微分データのレベル値が値「０」となるゼロ点を抽出して補正基準位置算出部５７に抽出結果を出力する。このゼロ点が、補正を行う際の基準位置となる。

補正基準位置算出部５７は、ゼロ点抽出部５６の出力を受けて、ゼロ点となる位置を補正基準位置６７として算出し、画像補正部５９と補正範囲算出部５８に出力する。

補正範囲算出部５８は、補正基準位置６７を受けて、入力画像データ５１に含まれる画素の中から、補正を行う画素の範囲を算出する。補正範囲算出部５８は、まず補正画素基準位置６７と隣接する画素とのレベル値の差分値を算出する。次いで、補正範囲算出部５８は算出された差分値を、入力画像データの水平画素方向の前後、即ち正負の領域に当てはめる。さらに、補正範囲算出部５８はこの当てはめられた範囲を補正範囲６８として算出し、画像補正部５９に出力する。

画像補正部５９は、補正基準位置６７と補正範囲６８の情報をもとに、入力画像データ５１の画素のレベル値を変化させる補正を行う。補正された画像は、補正画像６０として出力される。具体的には、画像補正部５９は、補正基準位置６７に対応する画素と、補正範囲６８の範囲外の画素はそのレベル値を変化させず、補正範囲６８に存在する画素のレベル値を変化させる。結果として、入力画像データ５１の変化部分は、基準位置がずれることなくより急峻になり、変化部分に対応する画像の輪郭部分は強調される。

以上のように、入力画像５１は、補正基準位置６７と補正範囲６８に従って補正されるため、図４などから明らかな通り輪郭は強調される。さらに、補正基準位置６７を変動させること無く補正を実行するため、画像の白色領域が減少することも無い。また画像上の物体の面積自体は増減するなども無いため、画像全体のぼやけ感も生じない。これらは、実施の形態１において、図４（ａ）〜図４（ｄ）を用いて説明したことと同様である。

次に、図７、図８、図９を用いて、画像補正部５９の詳細について説明する。

図７、図８は本発明の実施の形態２における画像補正部の内部ブロック図である。図９は本発明の実施の形態２における入力画像データと補正画像データの波形図である。

図７では、入力画像データの画素７０〜７８のレベル値を変化させる補正の構成が表されている。一方、図８では、入力画像データの画素７０〜７８を、マルチプレクサ６６を用いて選択して、補正画像６０の補正画素７０’〜７８’に割り当てる補正の構成が表されている。

まず、図７に表されている補正について説明する。

画像補正部５９には、画素７０〜７８から構成される入力画像データ５１が入力する。さらに、補正基準位置６７と補正範囲６８が入力する。ここで、画素７４が補正基準位置６７に対応し、これと隣接する画素７３と画素７５が補正範囲６８に存在する画素である。このため、レベル値変化の補正は、画素７３と画素７５に対してのみ行われる。

乗算器６３は、画素７０〜７８に必要な係数を乗算して、レベル値を変化させる。係数６４と係数６５は、補正範囲６８に存在する画素７３と画素７５のそれぞれの乗算で用いられる係数である。なお、図７では、画素７３画素７５以外の画素については、乗算用の係数が表されていないが、これらの画素はレベル値変化が不要であるので、係数「１」が乗算される。

以上のように、補正範囲６８に存在する画素７３と画素７５に対してのみ値「１」以外の係数６４と係数６５が乗算されることで、画素７３と画素７５のレベル値が変化する。ここで、係数６４については値「１」以上とし、係数６５については値「１」未満（但し値「０」より大きい）とする。このような係数６４が画素７５に乗算されることで、補正画素７５’は画素７５よりもレベル値が増加する。一方、係数６５が画素７３に乗算されることで、補正画素７３’は画素７３よりもレベル値が減少する。

即ち、補正範囲６８に存在する画素が、補正基準位置６７とのレベル値の差分値が大きくなるように補正される。あるいは、補正範囲６８に存在する画素が、補正基準位置６７の正側ではレベル値が増加し、負側ではレベル値が減少するように補正される。なお、このとき補正基準位置６７に対応する画素７４のレベル値は変化しない。

以上の補正が施されることで、補正画像の波形は図９に表されるようになる。入力画像波形８０は、補正により補正画像波形８１に変化する。補正画素７３’は画素７３よりレベル値が下がっており、補正画素７５’は画素７５よりレベル値が上がっているため、画像波形のレベル変化部分（即ち実際の画像では輪郭部分である）は、より急峻に変化している。このことから、輪郭部分が強調されていることが分かる。しかも、補正画素７０’、７１’、７２’７３’は黒色領域を形成し、補正画素７５’、７６’、７７’、７８’は白色領域を形成するので、入力画像に比較して、黒色領域や白色領域が減少するなどの問題は生じない。減少する領域は輪郭部分だけである。このため、画像において白色領域の減少が生じたり、あるいは画像全体のぼやけ感が生じたりするなどの問題もない。

次に、図８を用いて別の補正の構成について説明する。

図８に表されている画像補正部５９は、マルチプレクサ６６を用いて、補正後の補正画素７０’〜７８’に対して、画素７０〜７８を割り当てる。なお、図７の場合と同じく、画像補正部５９には補正基準位置６７、補正範囲６８が入力する。また、画素７４が補正基準位置６７に対応し、画素７３と画素７５が補正範囲６８に存在する画素である。

また、画素７０〜７８、および補正画素７０’〜７８’はそれぞれメモリやシフトレジスタなどに保持されて、補正が実行されてもよい。

補正においては、補正範囲６８に含まれる画素７３と画素７５に対してのみ、マルチプレクサ６６で入れ替えが行われ、これら以外の画素はそのまま補正画素としてマルチプレクサ６６から出力される。具体的には、補正対象の画素７３と画素７５は、補正範囲外で隣接する画素７２と画素７６に置き換えられて出力される。即ち、補正画素７３’は画素７２が割り当てられ、補正画素７５’は画素７６が割り当てられる。他の画素はそのまま出力される。

補正画素７３’は、よりレベル値の低い画素７２が割り当てられるためはレベル値が減少する。逆に、補正画素７５’には、よりレベル値が高い画素７６が割り当てられるため、補正画素７５’はレベル値が増加する。また、補正範囲外である補正画素７０’には画素７０がそのまま割り当てられ、補正画素７１’には画素７１がそのまま割り当てられ、補正画素７２’には画素７２がそのまま割り当てられる。同様に補正画素７６’には画素７６が、補正画素７７’には画素７７が補正画素７８’には画素７８がそのまま割り当てられる。また、補正基準位置６７に対応する補正画素７４’には画素７４がそのまま割り当てられる。

このような補正範囲６８に含まれる画素を、補正範囲外の隣接する画素と置き換えて補正画素として出力し、それ以外は非置換で出力することで、図９に表されるように、補正画像波形の変化部分が急峻となる。

以上の補正により、入力画像波形８０は、補正画像波形８１に変化して出力される。

また、変化部分に該当する補正画素７３’、７４’、７５’付近のレベル値の変化が急峻となることで、輪郭部分が強調される。しかも、補正画素７０’、７１’、７２’７３’は黒色領域を形成し、補正画素７５’、７６’、７７’、７８’は白色領域を形成するので、入力画像に比較して、黒色領域や白色領域が減少するなどの問題は生じない。減少する領域は輪郭部分だけである。このため、画像において白色領域の減少が生じたり、あるいは画像全体のぼやけ感が生じたりするなどの問題もない。

以上の画像処理装置により、白色領域の減少やぼやけ感の発生などの副作用を生じさせること無く、先鋭感の高い画像が実現される。

なお、画像処理装置は単体で用いられてもよく、デジタルテレビやプラズマパネルディスプレイなどの画像表示装置に組み込まれてもよい。

本発明に係る画像処理方法は、例えば、先鋭感やシャープネスを高める画像処理を行う分野等において好適に利用できる。

（ａ）本発明の実施の形態１における入力画像データの波形図 （ｂ）本発明の実施の形態１における入力画像データの一次微分後の波形図 （ｃ）本発明の実施の形態１における入力画像データの二次微分後の波形図 （ｄ）本発明の実施の形態１における補正後の補正画像データの波形図 本発明の実施の形態１における画像処理方法の補正画像データの波形図 本発明の実施の形態１における画像処理方法の補正画像データの波形図 （ａ）本発明の実施の形態１における入力画像の模式図 （ｂ）本発明の実施の形態１における入力画像データの波形図 （ｃ）本発明の実施の形態１における補正画像データの波形図 （ｄ）本発明の実施の形態１における補正画像の模式図 本発明の実施の形態１における画像処理のフローチャート 本発明の実施の形態２における画像処理装置のブロック図 本発明の実施の形態２における画像補正部の内部ブロック図 本発明の実施の形態２における画像補正部の内部ブロック図 本発明の実施の形態２における入力画像データと補正画像データの波形図 （ａ）入力画像の模式図 （ｂ）入力画像データの波形図 （ｃ）補正後の画像データの波形図 （ｄ）出力画像の模式図

符号の説明

１ 入力画像データ
２ 一次微分データ
３ 二次微分データ
４ 補正画像データ
５、６、７、８、９、１１、１２、１３ 画素
５’、６’、７’、８’、９’、１０’、１１’、１２’、１３’ 補正画素
１４ 補正基準位置
１５ 差分値
１６ 補正範囲
１７ 差分拡大
１８ レベル減少
１９ レベル増加
２０ マルチプレクサ
２２ 制御信号
３０ 入力画像
３１ 黒色領域
３２ 白色領域
３３ 輪郭部分
３４ 黒色部分
３５ 白色部分
３６ 変化部分
３７ 補正画像
５０ 画像処理装置
５１ 入力画像
５２ 補間部
５３ 画像保持部
５４ 一次微分演算部
５５ 二次微分演算部
５６ ゼロ点抽出部
５７ 補正基準位置算出部
５８ 補正範囲算出部
５９ 画像補正部
６０ 補正画像
６３ 乗算器
６４、６５ 係数
６６ マルチプレクサ
６７ 補正基準位置
６８ 補正範囲
７０、７１、７２、７３、７４、７５、７６、７７、７８ 画素
７０’、７１’、７２’、７３’、７４’、７５’、７６’、７７’、７８’ 補正画素
８０ 入力画像波形
８１ 補正画像波形
１００ 入力画像
１０１ 黒色領域
１０２ 白色領域
１０３ 波形データ
１０４ 変化部分
１０５ 黒色部分
１０６ 白色部分
１０７ 白色部分
１０８ 変化部分
１０９ 補正画像
１１０、１１１ 幅

Claims (18)

1. 画素から構成される入力画像データを補正する画像処理方法であって、
   前記入力画像データを二次微分して二次微分データを出力する二次微分ステップと、
   前記二次微分データから補正基準位置を算出する補正基準位置算出ステップと、
   前記補正基準位置から補正範囲を算出する補正範囲算出ステップと、
   前記入力画像データを構成する画素の内、前記補正基準位置を基準に前記補正範囲に存在する画素のレベル値を補正する画像補正ステップを備える画像処理方法。
2. 前記補正基準位置算出ステップでは、前記二次微分データのレベル値が特定値となる点を前記補正基準位置とする請求項１記載の画像処理方法。
3. 前記特定値は、値「０」である請求項２記載の画像処理方法。
4. 前記補正範囲算出ステップでは、前記補正基準位置と隣接する画素とのレベル値の差分値を算出し、前記入力画像データの水平位置軸における前記補正基準位置の正負の領域に前記差分値を当てはめ、前記当てはめられた範囲を前記補正範囲として算出する請求項１から３のいずれか記載の画像処理方法。
5. 前記二次微分ステップの前に前記入力画像データを一次微分する一次微分ステップを備え、
   前記補正範囲算出ステップは、前記補正基準位置を基準として左右に存在する前記一次微分後の画素の内、隣接画素との差分値の絶対値が所定値以上となる領域を前記補正範囲として算出する請求項１から３のいずれか記載の画像処理方法。
6. 前記画像補正ステップでは、前記補正範囲に存在する画素と前記補正基準位置とのレベル値の差分を広げることにより補正する請求項１から５のいずれか記載の画像処理方法。
7. 前記画像補正ステップでは、前記補正範囲に存在する画素であって、前記補正基準位置を基準として前記水平位置の負の領域に存在する画素はそのレベル値を下げ、前記水平位置の正の領域に存在する画素はそのレベル値を上げる補正を行う請求項１から５のいずれか記載の画像処理方法。
8. 前記画像補正ステップでは、前記補正範囲に存在する画素を、前記補正範囲外であって隣接する画素に置き換える補正を行う請求項１から５のいずれか記載の画像処理方法。
9. 前記画像補正ステップでは、前記入力画像データに含まれる任意の画素を被置換画素とし、前記被置換画素に対して前記補正基準位置と対向する領域に存在する画素であって、前記被置換画素と前記補正基準位置との距離量に対して単調減少する距離に存在する画素を置換画素として、前記被置換画素を前記置換画素と置き換える補正を行う請求項１から５のいずれか記載の画像処理方法。
10. 前記画素から構成される入力画像を、前記画素を構成する複数の発光素子（サブピクセル）に補間する補間ステップをさらに備える請求項１から９のいずれか記載の画像処理方法。
11. 画素から構成される入力画像データを補正する画像処理装置であって、
    前記入力画像データを二次微分して二次微分データを出力する二次微分演算部と、
    前記二次微分データから補正基準位置を算出する補正基準位置算出部と、
    前記補正基準位置から補正範囲を算出する補正範囲算出部と、
    前記入力画像データを構成する画素の内、前記補正基準位置を基準に前記補正範囲に存在する画素のレベル値を補正する画像補正部を備える画像処理装置。
12. 前記補正基準位置算出部は、前記二次微分データのレベル値が特定値となる点を前記補正基準位置とする請求項１１記載の画像処理装置。
13. 前記入力画像データを一次微分する一次微分演算部を備え、
    前記補正範囲算出部は、前記補正基準位置を基準として左右に存在する前記一次微分後の画素の内、隣接画素との差分値の絶対値が所定値以上となる領域を前記補正範囲として算出する請求項１１から１２のいずれか記載の画像処理装置。
14. 前記画像補正部は、前記補正範囲に存在する画素と前記補正基準位置とのレベル値の差分を広げることにより補正する請求項１１から１３のいずれか記載の画像処理装置。
15. 前記画像補正部は、前記補正範囲に存在する画素であって、前記補正基準位置を基準として前記水平位置の負の領域に存在する画素はそのレベル値を下げ、前記水平位置の正の領域に存在する画素はそのレベル値を上げる補正を行う請求項１１から１４のいずれか記載の画像処理装置。
16. 前記画像補正部は、前記補正範囲に存在する画素を、前記補正範囲外であって隣接する画素に置き換える補正を行う請求項１１から１４のいずれか記載の画像処理装置。
17. 前記画像補正部は、前記入力画像データに含まれる任意の画素を被置換画素とし、前記被置換画素に対して前記補正基準位置と対向する領域に存在する画素であって、前記被置換画素と前記補正基準位置との距離量に対して単調減少する距離に存在する画素を置換画素として、前記被置換画素を前記置換画素と置き換える補正を行う請求項１１から１４のいずれか記載の画像処理装置。
18. 前記画素から構成される入力画像を、前記画素を構成する複数の発光素子（サブピクセル）に補間する補間部をさらに備える請求項８から１３のいずれか記載の画像処理装置。

Images