JP2001144962A

JP2001144962A - 画像処理装置

Info

Publication number: JP2001144962A
Application number: JP32057499A
Authority: JP
Inventors: Natsumi Miyazawa; なつみ宮澤; Kenji Ebiya; 賢治蛯谷
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1999-11-11
Filing date: 1999-11-11
Publication date: 2001-05-25

Abstract

(57)【要約】【課題】一枚の画像の中に絵柄領域およびそれ以外の
領域が混在している場合でも、最適な画質補正を行うこ
と。【解決手段】本発明の画像処理装置は、入力された画
像データから絵柄領域と非絵柄領域とを分割する領域分
割部１０２と、領域分割部１０２において分割された絵
柄領域の特徴のみで画質補正を実行する絵柄領域処理部
１０３と、絵柄領域処理部１０３において補正された絵
柄領域と、領域分割部１０２で分割された非絵柄領域と
を合成する画像合成部１０４とを備えている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像に適応的な画
質補正を行う画像処理装置に関する。

【０００２】

【従来の技術】近年、ディジタル化、ネットワーク化、
システム化が進展するに従って、ディジタル画像の多用
性が広がってきている。例えば、インターネットで取り
込んだ画像を書類に貼り付けて電子ドキュメントを作成
したり、ディジタルカメラで撮影した画像を使って電子
アルバムを作成したりすることが、頻繁に行われるよう
になってきている。

【０００３】しかしながら、インターネット等で採取し
た画像やディジタルカメラの画像等は、露光不足、振
れ、ぼけ、色かぶり、ノイズなど、撮像条件の悪さや劣
化が目立つ場合が多い。したがって、通常、ディジタル
画像を活用する場合は、オリジナルの画像をそのまま扱
うことは少なく、何らかの画質補正処理を行ってから活
用される。

【０００４】また、それに伴って、ディスプレイやプリ
ンタ、複写機などの出力機器にも、より質の高い出力が
要求されるようになってきており、複写機やプリンタド
ライバに画質補正機能が組み込まれたり、画質補正に機
能を絞った画像処理ソフト等が売り出されている。

【０００５】一般的に、画質補正は、画像自体を解析し
て得られた特徴量と、外部入力により与えられる情報と
を用いて、自動的に、あるいはマニュアル操作により処
理される。しかし、画質補正と言っても、明度、彩度、
カラーバランス、色み等の補正、コントラスト補正、シ
ャープネス補正など、多種多様な補正があり、画像がど
のような特徴を示している場合にどのような補正処理を
行えばよいか、また、どの程度の補正を行えばよいかな
ど、画像処理に関して専門的な知識を有していなけれ
ば、最適な補正処理を行うことは困難である。

【０００６】例えば、室内で果物の写真を撮った場合な
どには、光量の強弱や光の当たる方向などの様々な撮影
条件から、実際の果物の色よりも彩度が低く濁ったよう
な色の写真を撮ってしまうことがある。そのような画像
が入力された場合には、彩度を強く、必要であれば明度
も高くするなどして、メリハリの有る好感の持てる画像
に再現した方が好ましい。しかし、どの特徴をどの程度
補正すれば自分の希望する好ましい再現になるかは、一
般ユーザにはわかり難く、幾度となく操作を繰りかえす
ことになる。

【０００７】また、彩度やカラーバランスなどの色との
相関が強い値は、画像への影響力が大きいため、その値
を操作するのは一般ユーザには困難な作業である。最近
はカラーマネージメントシステムの登場で、一般ユーザ
にも色という概念が扱い易くなってきているが、満足の
いく結果を得るまでには、やはり経験的、試行錯誤的な
操作が必要となることが多い。このような問題を解決す
るために、ユーザの手間を省き、画像を解析した特徴量
のみで、自動的に最適な画質補正を行う手法が多々開発
されている。これらの手法を用いれば、ユーザは専門的
知識を有せずとも、ボタンーつで最適な画質補正が実現
できる。

【０００８】例えば、画質補正の一つとして、特開平１
０−２８３４７０号公報に、自動的にコントラストを補
正する方法が開示されている。この方法は、画像の明度
あるいは彩度のヒストグラムから、分布のピーク値や平
均値を特徴量として算出し、これらの値から、明度ある
いは彩度を最適に補正するルックアップテーブル（以
下、単に「ＬＵＴ」と言う。）を求めてコントラスト補
正を行うものである。

【０００９】以下、この手法を用いた、明度のコントラ
スト補正方法を説明する。先ず、入力画像の明度信号か
らヒストグラムを作成する。この作成したヒストグラム
から、特徴量として、平均値あるいはピーク値等を算出
する。次に、この特徴量と、予め定めたしきい値とを比
較することで、入力画像が明るめの画像なのか、暗めの
画像なのかを判断し、明るめの画像であれば暗くするよ
うに、暗めの画像であれば明るくするような補正ＬＵＴ
を生成する。この作成した補正ＬＵＴを用いて、明度の
階調変換を行い、コントラスト補正を実現する。

【００１０】この補正方法について、図８の概念図を用
いて詳細に説明する。なお、ここでは、説明のために、
入力画像の明度が〔Ｉｍｉｎ，Ｉｍａｘ〕の範囲で分布
しているものとし、補正後の出力画像の明度は、〔Ｏｍ
ｉｎ，Ｏｍａｘ〕の範囲で分布されるものとする。ま
た、特徴量を平均値Ｉａｖｅ、しきい値をＩＤＥＬとす
る。

【００１１】先ず、入力画像全体の明度のヒストグラム
を作成する。作成したヒストグラムから、特徴量とし
て、平均値Ｉａｖｅを算出する。ここで、平均値はＩａ
ｖｅがしきい値ＩＤＥＡＬよりも低い場合（図８（ａ）
参照）は、対象とする画像が全体的に暗い画像であると
判断し、明るい方向に分布を引き伸ばすように（図８
（ｂ）参照）、補正ＬＵＴを生成する（図８（ｃ）参
照）。

【００１２】また、特徴量Ｉａｖｅがしきい値ＩＤＥＡ
Ｌよりも高い場合（図８（ｄ）参照）は、対象とする画
像が全体的に明るい画像であると判断し、暗い方向に分
布を引き伸ばすように（図８（ｅ）参照）、補正ＬＵＴ
を生成する（図８（ｆ）参照）。

【００１３】ここで、図８に記載されるＤは、分布をど
の程度引き伸ばすか表した数値で、平均値Ｉａｖｅとし
きい値ＩＤＥＡＬとの差分を引数とした関数でもよい
し、一律な値でもよい。作成した補正ＬＵＴを用いて、
入力画像の明度の階調変換を実行することで、画像に適
応的な明度コントラスト補正を実現することが可能とな
る。

【００１４】

【発明が解決しようとする課題】しかしながら、このよ
うな補正手法には次のような問題がある。例えば、図９
（ａ）のように、文書に写真が貼り付けられた画像を考
える。ここで、写真部分５１のみのヒストグラムは、図
９（ｂ）に示すようにレンジが狭くコントラストが悪い
ものとする。従って、本来ならば、ダイナミックレンジ
を広げてコントラスト補正をするびき画像である。

【００１５】このような画像の場合、前述した補正手法
では、画像全体のヒストグラムを算出しているので、写
真部分５１以外の白背景及び黒文字の階調までもがカウ
ントされてしまう（図９（ｃ）参照）。したがって、算
出したヒストグラムだけを解析すると、レンジは階調の
取りうる最大幅の０〜２５５に広がっており、平均値は
レンジの中間部分に存在する。よって、対象とする画像
は、補正の必要がないものと判断され、補正が行われな
い可能性がある。

【００１６】また、図１０（ａ）に示す画像のように、
洞窟など暗い場所でフラッシュをたいて撮影した人物画
像を考える。この場合、人物部分６１のみのヒストグラ
ム（図１０（ｂ）参照）は、レンジも広くコントラスト
の良い、補正の必要がない領域であるとする。しかし、
前述した補正手法では、画像全体のヒストグラムを算出
しているので、人物部分６１以外にも、背景の暗い領域
もカウントされる（図１０（ｃ）参照）。したがって、
算出したヒストグラムだけを解析すると、階調は暗い方
に偏っており、平均値は暗い部分に存在する。よって、
対象とする画像は暗い画像であると判断され、明るく補
正する処理が行われ、人物部分６１が必要以上に明るく
なってしまい、人物のハイライト部分がつぶれたり、疑
似輪郭が出たりする可能性がある。

【００１７】このように、画像全体の大域的な特徴量を
解析するだけでは、局所的な補正ができず、大域的な特
徴量だけでなく、局所的な特徴量も解析して、適切な補
正係数や補正方法を算出する必要性がある。

【００１８】

【課題を解決するための手段】本発明は、このような課
題を解決するために成された画像処理装置である。すな
わち、本発明の画像処理装置は、入力された画像データ
から絵柄領域と非絵柄領域とを分割する領域分割手段
と、領域分割手段において分割された絵柄領域の特徴の
みで画質補正を実行する絵柄領域補正手段と、絵柄領域
補正手段において補正された絵柄領域と、領域分割手段
で分割された非絵柄領域とを合成する画像合成手段とを
備えている。

【００１９】このような本発明では、画像入力手段で入
力された画像データを領域分割手段で絵柄領域と非絵柄
領域とに分割し、絵柄領域補正手段においてその絵柄領
域のみの特徴量で画質補正を実行している。また、補正
後の絵柄領域は画像合成手段において非絵柄領域と合成
される。これにより、非絵柄領域とは関係なく、絵柄領
域のみを中心とした画質補正を行うことができるように
なる。

【００２０】

【発明の実施の形態】以下、本発明の画像処理装置にお
ける実施の形態を図に基づいて説明する。なお、本実施
形態では、Ｌ^*ａ^*ｂ^*信号から成る画像を入力とし
て、明度コントラストの自動補正を行う処理を例とす
る。

【００２１】図１は本実施形態の画像処理装置を説明す
る構成図、図２は絵柄領域補正部を説明する構成図であ
る。すなわち、図１に示すように、本実施形態の画像処
理装置は、画像入力部１０１、領域分割部１０２、絵柄
領域処理部１０３、画像合成部１０４および画像出力部
１０５を備えている。

【００２２】画像入力部１０１は、スキャナなどのディ
ジタル多値画像入力機器やメモリなどから成る。領域分
割部１０２は、画像入力部１０１において入力した画像
を写真やグラフなどの絵柄領域と文字列などの非絵柄領
域とに分割する処理を行う。絵柄領域処理部１０３は、
領域分割部で分割・抽出した絵柄領域に対して最適な明
度のコントラスト補正を実行する。画像合成部１０４
は、絵柄領域処理部１０３において明度のコントラスト
を補正した絵柄領域と、領域分割部１０２において分割
・抽出した非絵柄領域とを合成し、出力画像を作成す
る。画像出力部１０５は、例えばプリンタ等の画像出力
機器やメモリから成る。なお、領域分割部１０２および
絵柄領域処理部１０３および画像合成部１０４は図示し
ないメモリに双方向バスで接続されている。

【００２３】次に、図２に基づき絵柄領域処理部の詳細
な説明を行う。絵柄領域処理部は、絵柄度合い算出部２
０１、特徴量算出部２０２、補正係数算出部２０３およ
び画像補正部２０４から構成される。

【００２４】このうち、絵柄度合い算出部２０１では、
領城分割部１０２（図１参照）において分割・抽出した
絵柄領域に対して、絵柄領城内の画素毎の「絵柄らし
さ」を示す絵柄度合いを算出する。

【００２５】また、特徴量算出部２０２では、領域分割
部１０２（図１参照）において分割・抽出した絵柄領城
と、絵柄度合い算出部２０１において算出した絵柄領域
内の画素毎の絵柄度合いから、画像の明度補正に必要な
補正係数を決定するための特徴量を算出する。補正係数
算出部２０３では、特徴量算出部２０２において算出し
た特徴量から、画像の明度補正に必要な補正係数を算出
する。画像補正部２０４では、補正係数算出部２０３に
おいて算出した補正係数を用いて、絵柄領域の明度コン
トラストを適応的に補正する。

【００２６】次に、本実施形態の画像処理装置における
補正処理の流れを図３のフローチャートに沿って説明す
る。なお、以下の説明で図３に示されない符号は図１、
図２を参照するものとする。

【００２７】最初に、画像入力部１０１で処理対象とな
る画像の取り込みを行う（ステップＳ３０１）。この画
像入力部１０１に供給されるディジタル多値画像として
は、メモリに予め格納されている画像でもよいし、スキ
ャナや画像読み取り機能を搭載したディジタル複写機等
から画像をスキャンインしたものでもよい。

【００２８】次に、領域分割１０２で画像を絵柄領域と
非絵柄領域とに分割する処理を行う（ステップＳ３０
２）。すなわち、領域分割部１０２では、画像入力部１
０１において供給された画像データを、写真やグラフな
どの絵柄領域と、文字列などの非絵柄領域とに分割す
る。領域の分割方法としては、エッジ抽出を実行した
後、閉領域を作成し、各閉領域内の特徴量を参照しなが
ら領域分割する手法や、最初に画像をブロック分割し
て、各ブロックの特徴量を参照しながらブロック統合し
ていく手法などがある。また、分割した絵柄領域および
非絵柄領域は複数個存在することも多々ありうる。

【００２９】本発明の領域分割方法として従来技術を用
いても問題はないが、本実施形態では、以下に説明する
手法を用いて領域を分割し、絵柄領域が１領域、非絵柄
領域が１領域ずつ分割・抽出されたものとして説明を行
う。

【００３０】本実施形態で適用する手法は、２値化処理
を行って背景と前景とを分離した画像において、一行あ
るいは一列毎に、背景部分のラン長のヒストグラムを作
成し、その分布を参照しながら、背景ランを統合してい
く方法で、全ての行あるいは列に同様の処理を行うこと
で、画像の絵柄領域と非絵柄領械の分割を可能とする。

【００３１】詳細に説明すると、先ず、入力画像のヒス
トグラムを作成し、それをもとに判別分析法等を用いて
閾値を設定し、画像を２値化する。この２値画像におい
てＯＮ（黒）画素を前景、ＯＦＦ（白）画素を背景とす
る。次に、この２値画像の行（または列）毎に白ランの
ヒストグラムを作成し、その分布から白ランを・統合す
るための統合閾値を設定する。

【００３２】これを図４（ａ）を例にとり説明する。こ
こでは、代表的な５つの状況を点線〜で示してい
る。点線、は前景が全く無く、画像の幅を持つ白ラン
が１つであり、図４（ｂ）に示すようなヒストグラム分
布となる。この時は統合閾値を無限大とし、この行にお
ける前景の統合はしない。ここでの判断は、ヒストグラ
ムの度数の総数が１であるかどうかで判断できる。

【００３３】点線は、図形／写真と文字が混在してい
る部分である。この行におけるヒストグラム分布を図４
（ｃ）に示す。このヒストグラムは文字間の白ランであ
るラン長のところにピークが存在し、それより長いとこ
ろに段落間（オブジェクト間）の白ランが分布してい
る。これらの情報を数値化するために、ピーク検出用閾
値ｔｈ１と分布範囲検出用閾値ｔｈ２とを用いる。

【００３４】このときは、統合閾値を、ピーク検出用閾
値ｔｈ１で検出される文字間の白ランであると予想され
るラン長（１）と、分布範囲検出用閾値ｔｈ２で検出さ
れるラン長の中でラン長（１）を含まない分布の中でラ
ン長（１）より長く一番短いラン長（２）の中間値とす
る。

【００３５】点線は、前景が図形／写真のみの部分で
ある。この行におけるヒストグラム分布を図４（ｄ）に
示す。ヒストグラムはその行の両端点から図形／写真部
分まで続く白ランに対応するラン長のところにそれぞれ
度数１があるだけである。このような場合は点線と同
様に統合閾値を無限大とし、このラインにおける前景の
統合はしない。ここでの判断は、ヒストグラムの度数の
総数が２であるかどうかで判断することができる。

【００３６】この例では、図形／写真が１つの場合であ
るが、複数の場合も次のようなステップを踏んで統合処
理を行わない。図形／写真が枚数の場合、ヒストグラム
の度数の総数が２ではないが、ピーク検出用閾値ｔｈ１
で閾値処理した場合でも検出されるものがなく、文字が
存在しないと判断できる。その結果をもとに統合処理を
行わないという判断がなされる。

【００３７】点線、は前景が文字のみの鴇合であ
る。このときのヒストグラム分布を図４（ｅ）（ｆ）に
示す。この場合は分布形状が図４（ｃ）と同様であり、
統合閾値設定のフローも同様に行うことで実施できる。

【００３８】以上の方法で、各行あるいは各列におけ
る、統合閾値値が決定される。次に、各行あるいは各列
において、上述した方法で決定された統合閾値値より対
象とする白ランが短い場合、その白ランを挟む両側の黒
画素（黒ラン）を同一領域として対象とする白ランと統
合する。この処理によって、文字は「文字列」という一
つの領域として統合される。

【００３９】上述した処理を、全ての行あるいは全ての
別に適用し、前後左右の同じ領域を統合しながらラベリ
ングを行い、入力画像を複数の領域に分割することがで
きる。ここでは、後述する属性判定のために各領域は矩
形形状をとるものとする。

【００４０】この分割した各矩形領域について、文字
列、写真、図形などの属性を判定する。各分割領域の属
性は、分割した各領域の矩形の幅、高さ、縦横比、画素
密度、矩形領域に対応する入力画像の情報等を用いて判
定を行う。

【００４１】上記属性判定の結果に基づいて絵柄領域を
特定するが、本実施形態では、文字列及び背景と判定さ
れた領域を非絵柄領域、それ以外を絵柄領域とみなす。
以上の方法で、絵柄領域と非絵柄領域とを分割・抽出す
ることができる。

【００４２】次に、絵柄領域処理部１０３において、領
域分割部１０２において分割・抽出した絵柄領域に対し
て、自動的に最適な明度コントラスト補正を実行する
（ステップＳ３０３〜Ｓ３０６）。このステップＳ３０
３〜Ｓ３０６の処理の詳細については後述する。

【００４３】次いで、画像合成部１０４では、領域分割
部１０２において分割・抽出した非絵柄頼域と、絵柄領
域処理部１０３において補正した絵柄領域とを合成し、
出力画像を作成する（ステップＳ３０７）。

【００４４】そして、画像出力部１０５において、画像
合成部１０４で合成された画像を出力する。ここで、画
像出力部１０５は、メモリでもよいし、プリンターやプ
リントアウト機能を搭載したディジタル複写機なとでも
よい。これにより、絵柄領域のみに適切な画質補正が施
された画像を得ることができる。

【００４５】次に、絵柄領域処理部１０３での処理（図
３に示すステップＳ３０３〜Ｓ３０６の処理）の詳細を
説明する。

【００４６】ステップＳ３０３…絵柄度合い算出部２０
１では、領域分割部１０２において分割・抽出した絵柄
領域に対して、絵柄領域全体の「絵柄らしさ」を示す
「絵柄度合い」および絵柄領域内の画素毎の「絵柄らし
さ」を示す「絵柄度合い」を算出する。

【００４７】最初に、絵柄領域全体の「絵柄度合い」に
ついて説明する。領域分割部１０２で分割・抽出される
絵柄領域は、文字列および背景以外の領域を絵柄領域と
して判定しているために、写真のような自然な絵柄であ
ったり、棒グラフのような人工的な絵柄であったり、様
々な種類がある。そこで、本実施形態では、これらを
「絵柄らしさ」という観念で分別し、適切な補正を実現
するための情報として、絵柄領域全体の「絵柄らしさ」
を示す「絵柄度合い」を算出する。

【００４８】以下に、絵柄領域全体の「絵柄度合い」の
算出方法の概略を説明する。絵柄領域全体の絵柄度合い
は、領域分割部１０２において属性を判定するときに用
いた特徴量（絵柄領域の矩形の幅、高さ、縦横比、画素
密度、矩形領域に対応する入力画像の情報）を利用して
算出する。

【００４９】算出した絵柄度合いは、例えば、０〜Ｍレ
ベルの（Ｍ＋１）段階でレベル付けされており、絵柄全
体が写真などのように自然な絵柄の場合は絵柄度合いレ
ベルはＭ、グラフや図などのように人工的な絵柄の場合
は、絵柄度合いレベルは０に設定される。

【００５０】次に、絵柄領域内の画素毎の「絵柄度合
い」について説明する。本実施形態では、画像入力部１
０１に、図５（ａ）に示すような楕円形のポートレート
が貼り付けられた画像が入力された場合、領域分割部１
０２では、属性判定に必要な特徴量を算出するために、
必ず、矩形の形状で領域を分割する。したがって、図５
（ａ）は、図５（ｂ）の絵柄領域と、図５（ｃ）の非絵
柄領域とに分割される。そのため、図５（ｂ）のよう
に、写真部分のみでなく、その背景を含んだ領域も絵柄
領域として抽出することになる。つまり、絵柄領域内
に、本当に絵柄らしい部分と、あまり絵柄に関係ない部
分とが存在することになる。

【００５１】そこで、絵柄領域全体の「絵柄らしさ」を
示す「絵柄度合い」のみでなく、絵柄領域内で、さらに
各画素がどの程度自然な絵柄であるかを示す「絵柄度合
い」も算出し、その情報を利用する。

【００５２】以下に、絵柄領域内の画素毎の「絵柄度合
い」の算出方法について述べる。絵柄領域内の画素毎の
絵柄度合いは、エッジ検出処理を行って閉領域を抽出
し、各閉領域毎に属性判定を行い、その結果に基づい
て、対象とする閉領域の絵柄度合いを算出する。閉領域
の属性は、対象とする閉領域のエッジ量、エッジの方
向、エッジ部分に対応する入力画像の情報、エッジに囲
まれた閉領域の内部に対応する入力画像の情報などから
判定する。

【００５３】例えば、絵柄領域として、白背景中に棒グ
ラフが存在する図形領域だとする。この絵柄領域に対し
て、エッジ検出後に閉領域を抽出すると、複数の棒部分
と背景の部分とに分けることができる。ここで、棒部分
の特徴量は、エッジ量は高く、エッジ方向は全て閉領域
の中心線に向かい、エッジ部分の色はほぼ同じ色で、閉
領域の内部の色もエッジ部分とほぼ同じ色、という値が
算出される。

【００５４】一方、背景部分の特徴量は、エッジ量、エ
ッジ部分の色、閉領域内部の色に関しては、棒部分と同
じ特徴を示すが、エッジ方向は四方八方に散らばってお
り、方向に規則性が無い。

【００５５】また、絵柄領域が、中心に楕円形のポート
レートがあるような写真領域だとする。この絵柄領域に
対して、エッジ検出後に閉領域を抽出すると、背景部分
と、写真部分の特定できない複数の領域とに分けること
ができる。背景部分に関しては、上述したような特徴量
を持つが、写真部分で抽出された複数の領域に関して
は、エッジ量、エッジ方向、エッジ部分の色、閉領域内
部の色、全てにおいて、規則性が無く、特定しがたい値
が算出される。

【００５６】上述した方法で算出した特徴量に基づい
て、対象とする閉領域の属性（写真、背景、図など）を
判定し、その判定結果から、閉領域の絵柄度合い、つま
り、閉領域を構成する全ての画素の絵柄度合いを算出す
る。本実施形態では、特徴量として、閉領域のエッジ
量、エッジ方向、エッジ部分の色、閉領域内部の色を用
いているが、これらに限られるものではない。

【００５７】画素毎の絵柄度合いは、例えば、０〜Ｍレ
ベルの（Ｍ＋１）段階でレベル付けされており、対象と
する画素が完全に写真などの領域の一部分である場合、
絵柄度合いレベルはＭ、背景など絵柄にあまり関係の無
い領域の中部分である場合は、絵柄度合いレベルは０な
どのように設定される。

【００５８】本実施形態では、絵柄領域全体の絵柄度合
いは信号ｐ＿ｓｉｇｎａｌとして、後述する補正係数算
出部２０３に送信し、また、画素毎の絵柄度合いはマス
ク画像Ｍａｓｋ（ｎ，ｍ）にして、後述する特徴量算出
部２０２に送信する。

【００５９】ステップＳ３０４…特徴量算出部２０２で
は、絵柄度合い算出部２０１において算出した絵柄度合
いを用いて、自動補正に必要な補正係数を決定するため
の特徴量を算出する。

【００６０】本実施形態では、前記した特開平１０−２
８３４７０号公報の手法を用い、絵柄領域の明度ヒスト
グラムを作成して、その作成した明度ヒストグラムから
特徴量を算出する。ここで作成する明度ヒストグラム
は、絵柄に重みをおいた明度ヒストグラムであって、絵
柄度合い算出部２０１において算出された絵柄度合いマ
スク画像Ｍａｓｋ（ｎ，ｍ）を参照しながら作成する。

【００６１】具体的には、絵柄領域の明度画像をＩ
（ｉ，ｊ）、その絵柄領域に対する絵柄度合いマスク画
像Ｍａｓｋ（ｉ，ｊ）、絵柄度合いのレベルが０〜Ｍの
（Ｍ＋１）段階のレベルを持つとき、以下の（１）式を
用いて明度ヒストグラムＨ（ｉ）を作成する。

【００６２】

【数１】

【００６３】例えば、マスク画像Ｍａｓｋ（ｎ，ｍ）＝
０の場合、Ｉ（ｎ，ｍ）は絵柄に関係無いと判断して、
ヒストグラムＨ（Ｉ（ｎ，ｍ））に数を加算しない。ま
た、マスク画像Ｍａｓｋ（ｎ，ｍ）＝Ｍの場合、Ｉ
（ｎ，ｍ）は写真などの純粋な絵柄の一部分であると判
断して、通常のヒストグラムを算出するように、Ｈ（Ｉ
（ｎ，ｍ））に１を加算していく。

【００６４】また、例えば、マスク画像Ｍａｓｋ（ｎ，
ｍ）＝１の場合は、５画素で１画素分の情報量をもつと
して、Ｈ（Ｉ（ｎ，ｍ））にＭａｓｋ（ｎ，ｍ）／Ｍ＝
１／５を加算していく。この作業を絵柄領域全体に行う
ことで、画素毎の絵柄らしさを考慮した明度ヒストグラ
ムを作成することができる。

【００６５】作成した明度ヒストグラムＨ（ｉ）から、
特徴量として、明度の最小値近傍の値を代表する最小側
代表値Ｉｍｉｎ、明度の最大値近傍の値を代表する最大
側代表値Ｉｍａｘ、分布全体の代表値Ｉａｌｌを算出
し、後述する補正係数算出部２０３に送信する。

【００６６】ここで、最小側代表値Ｉｍｉｎは、明度の
最小値でもよいし、累積頻度数が最初に５％以上になっ
た時の階調値などでもよい。また最大値側代表値Ｉｍａ
ｘは、明度の最大値でもよいし、累積頻度数が最初に９
５％以上になった時の階調値などでもよい。また、分布
全体の代表値Ｉａｌｌは、平均値でもよいし、頻度がピ
ーク値を示す時の階調値などでもよい。

【００６７】ステップＳ３０５…補正係数算出部２０３
では、特徴量算出部２０２において算出した特徴量に基
づいて、画像の明度コントラスト補正に必要な補正係数
を算出する。

【００６８】本実施形態では、前述した特開平１０−２
８３４７０号公報に記載される手法を用い、特徴量算出
部２０２において算出した特徴量（Ｉｍｉｍ，Ｉｍａ
ｘ，Ｉａｌｌ）から、明度ヒストグラムの分布の偏りを
判断し、その偏りを補正するような補正ＬＵＴを補正係
数として算出する。

【００６９】最初に、明度分布がどの程度偏っているか
を判断し、その偏りに応じて分布をどのように補正する
のかを決定する。補正後のヒストグラムの明度の最小側
代表値をＯｍｉｎ、明度の最大側代表値をＯｍａｘとし
たとき、特徴量算出部２０２において算出した特徴量を
用いて、以下の（２）式でＯｍｉｎおよびＯｍａｘを算
出する。

【００７０】

【数２】

【００７１】すなわち、分布全体の代表値Ｉａｌｌが基
準値ＴＨＤよりも低い場合は、その分布は低階調側に集
中していると判定し、最小側代表値Ｉｍｉｎを固定した
まま、分布全体の代表値Ｉａｌｌを基準値ＴＨＤに近づ
けるように（すなわち高階調側にのみ引き伸ばすよう
に）補正後の分布を設定する。

【００７２】逆に、分布全体の代表値Ｉａｌｌが基準値
ＴＨＤよりも高い場合は、その分布は高階調側に集中し
ていると判定し、最大側代表値ｌｍａｘを固定したま
ま、分布全体の代表値Ｉａｌｌを基準値ＴＨＤに近づけ
るように（すなわち低階調側にのみ引き伸ばすように）
補正後の分布を設定する。

【００７３】ここで、上記（２）式のαおよびβおよび
ＴＨＤは、絵柄度合い算出部２０１において算出した、
絵柄領域全体の絵柄度合いの信号ｐ＿ｓｉｇｎａｌを用
いて決定する。例えば、予め、絵柄領域全体の絵柄度合
いｐ＿ｓｉｇｎａｌに対応した、αおよびβおよびＴＨ
Ｄ他の表を保持しておき、その表を参照しながら、上記
（２）式の計算を行う。また、Ｆ（ｕ）は、分布全体の
代表値Ｉａｌｌの関数であり、基準値ＴＨＤとの差分を
基に設定される。

【００７４】次に、特徴量算出郎２０２において得られ
た特徴量Ｉｍｉｎ，Ｉｍａｘｌおよび上記（２）式にお
いて得られた代表値Ｏｍｉｎ，Ｏｍａｘを用いて、補正
ＬＵＴを作成する。

【００７５】具体的には、補正前の明度値をｘ、補正後
の明度値をｙとしたとき、以下の（３）式にしたがって
ｙを算出し、各々に対応した補正ＬＵＴを作成する。

【００７６】

【数３】

【００７７】ステップＳ３０６…画像補正部２０４で
は、補正係数算出部２０３において算出した補正係数に
基づいて、領域分割部１０２において分割・抽出した絵
柄領域に対して、適応的な明度補正を実行する。

【００７８】本実施形態では、補正係数算出部２０３に
おいて算出した補正ＬＵＴを用いて階調変換を行い、絵
柄領域の明度コントラストを補正する。以上の方法で、
絵柄領域内の画素毎の絵柄らしさに基づいて特徴量を算
出することで、明度のコントラスト補正を実現すること
が出来る。

【００７９】次に、本発明の他の実施形態を説明する。
なお、本実施形態では、Ｌ^*ａ^*ｂ ^*画像を入力とし
て、アンシャープネスマスク（ＵＳＭ）の手法を用いて
精細度の自動補正を実施する場合を例とする。また、全
体の構成は、先に説明した実施形態と同様（図１参照）
であるが、図１における絵柄領域補正部１０３の構成が
相違する。

【００８０】図６は、他の実施形態における絵柄領域補
正部を説明する構成図である。すなわち、絵柄度合い算
出部９０１は、絵柄領域全体および絵柄領域内の画素毎
の絵柄度合いを算出する。フィルタ選択部９０２では、
絵柄度合い算出部９０１において算出した、絵柄領域全
体の絵柄度合いから、精細度補正に用いるフィルタを選
択する。

【００８１】精細度補正部９０３では、絵柄度合い算出
部９０１において算出した、絵柄領域内の画素毎の絵柄
度合いと、フィルタ選択部９０２において選択したフィ
ルタとを用いて、精細度補正を行う。

【００８２】以下、図６の構成図に基づき、各部の動作
および処理方法の詳細な説明を行う。絵柄度合い算出部
９０１では、最初に、絵柄領域内の画素毎の絵柄度合い
を算出し、それに基づいて、絵柄領域全体の絵柄度合い
を算出する。

【００８３】具体的には、先に説明した実施形態と同様
の手法で、画素毎の絵柄度合いを算出し、それらの平均
値や中間値、あるいはピーク値などを、絵柄領域全体の
絵柄度合いとして用いる。

【００８４】本実施形態では、絵柄領域全体の絵柄度合
いを信号ｐ＿ｓｉｇｎａｌとして、後述するフィルタ選
択部９０２に送付し、また、画素毎の絵柄度合いは先に
説明した実施形態と同様にマスク画像Ｍａｓｋ（ｎ，
ｍ）にして、精細度補正部９０３に送信する。

【００８５】フィルタ選択部９０２では、絵柄度合い算
出部９０１において算出した絵柄領域全体の絵柄度合い
Ｐ＿ｓｉｇｎａｌを用いて、予め保持されている枚数の
ＵＳＭのフィルタ（平滑化のフィルタ）から、最適なフ
ィルタを選択する。本実施形態では、絵柄度合いとフィ
ルタの種類とが予めデータとして保持されており、例え
ば、絵柄領域が写真の場合は、絵柄領域全体の絵柄度合
いｐ＿ｓｉｇｎａｌがレベルＭであるので、自然な色合
いやグラデーションを損なわないような、フィルタを選
択する。

【００８６】また、例えば、絵柄領域がグラフや図形の
場合は、絵柄領域全体の絵柄度合いｐ＿ｓｉｇｎａｌが
レベル０であるので、高周波成分を的確に抽出するよう
な、フィルタを選択する。

【００８７】精細度補正部９０３では、フィルタ選択部
９０２において選択したフィルタを用いてＵＳＭを実行
する。以下の（４）式ににＵＳＭの式を示す。入力信号
をＩ（ｎ，ｍ）、出力信号をＯ（ｎ，ｍ）、選択したフ
ィルタを用いて算出した平滑化信号をＳ（ｎ，ｍ）、強
調係数をＫとしたとき、出力信号Ｏ（ｎ，ｍ）は以下の
（４）式で算出できる。

【００８８】

【数４】

【００８９】本実施形態では、上記（４）式において、
絵柄度合い算出部９０１から送信された絵柄度合いマス
クがＭａｓｋ（ｎ，ｍ）を参照しながら、上記（４）式
の強調係数Ｋを変更させる。

【００９０】例えば、絵柄度合いマスクがＭａｓｋ
（ｎ，ｍ）＝０の場合、その画素は写真の一部であると
して、過強調しないように係数を低めに設定する。一
方、絵柄度合いマスクがＭａｓｋ（ｎ，ｍ）＝０の場
合、その画素は図形やグラフの一部であるとして、エッ
ジを強調するように、係数を高めに設定する。このよう
に、各画素で係数が切り替わることにより、適応的に精
細度を補正する。

【００９１】以上の方法で、絵柄領域全体および絵柄領
域内の画素毎の絵柄度合いに基づいて、フィルタおよび
係数を変更することで、最適な精細度補正を実現するこ
とが可能となる。

【００９２】次に、本発明の他の実施形態を図に基づい
て説明する。本実施形態は、Ｌ^*ａ ^*ｂ^*画像を入力と
して、自動画質補正を実施する処理を例とする。全体の
構成は先に説明した実施形態と同様（図１参照）である
が、図１における絵柄領域補正部１０３が相違する。

【００９３】図７は、他の実施形態における絵柄領域処
理部を説明する構成図である。ここで、絵柄度合い算出
部１００１は、先に説明した実施形態と同様（図６参
照）なので説明を省略する。セレクタ１００２は、絵柄
度合い算出部１００１において算出した、絵柄領域全体
の絵柄度合いから、画質補正方法を選択する。画像補正
部１００３は、絵柄度合い算出部１００１において算出
した、絵柄領域全体および絵柄領域内の画素毎の絵柄度
合いと、セレクタ１００２で選択した補正方法とを用い
て、画質補正を行う。

【００９４】以下、図７の構成図に基づき、各部の動作
および処理方法の詳細な説明を行う。絵柄度合い算出部
１００１は、先に説明した実施形態と同様の手法で、絵
柄領域全体および絵柄領域内の画素毎の絵柄度合いを算
出する。

【００９５】本実施形態では、絵柄領域全体の絵柄度合
いは信号ｐ＿ｓｉｇｎａｌとして、後述するセレクタ１
００２および画像補正部１０３に送信する。また、絵柄
領域内の画素毎の絵柄度合いはＭａｓｋ（ｎ，ｍ）とし
て、画像補正部１００３に送信する。

【００９６】セレクタ１００２では、絵柄度合い算出部
１００１において算出した絵柄領域全体の絵柄度合いｐ
＿ｓｉｇｎａｌを用いて、予め保持されている複数の補
正方法から、その絵柄領域に最適な補正方法を選択す
る。例えば、明度、彩度、カラーバランス、色み等の補
正、コントラスト補正、シャープネス補正などＮ種類の
の補正方法が保持されている。本実施形態では、予め、
絵柄度合いｐ＿ｓｉｇｎａｌと補正方法の種類との対応
表が用意されており、複数の方法を選択することも可能
である。

【００９７】例えば、絵柄領域が写真の場合は、絵柄領
域全体の絵柄度合いｐ＿ｓｉｇｎａｌがレベルＭである
ので、違和感のない精細度補正を行える「処理１」（例
えば、UnSharpnessMask ）を選択する。また、例えば、
絵柄領域がグラフや図形の場合は、絵柄領域全体の絵柄
度合いｐ＿ｓｉｇｎａｌがレベル０であるので、エッジ
をより強調する「処理２」（例えば、エッジ強調を加味
した精細度補正方法）と、色を鮮やかにする「処理３」
（例えば、彩度強調処理）の２つの補正方法を選択す
る。

【００９８】画像補正部１００３では、絵柄度合い算出
部１００１において算出した絵柄領域全体の絵柄度合い
ｐ＿ｓｉｇｎａｌおよび画素毎の絵柄度合いマスクＭａ
ｓｋ（ｎ，ｍ）と、セレクタ１００２において選択した
補正方法とを用いて、精細度補正を実行する。図７に示
す処理１〜Ｎにおける、絵柄度合いｐ＿ｓｉｇｎａｌお
よびＭａｓｋ（ｎ，ｍ）の利用方法は、先に説明した実
施形態とと同様なので説明は省略する。

【００９９】以上の方法で、絵柄領域全体の絵柄度合い
に基づいて、補正方法自体を選択することが可能とな
り、最適な画質補正を実現することが可能となる。

【０１００】なお、上記説明したいずれの実施形態で
も、入力画像としてＬ^*ａ^*ｂ^*画像を用いる例を示し
たが、本発明はこれに限定されず、他の色空間画像、例
えばＲＧＢ画像でも同様の処理を行うことができる。

【０１０１】

【発明の効果】以上説明したように、本発明の画像処理
装置によれば次のような効果がある。すなわち、一枚の
画像の中に、絵柄領域およびそれ以外の領域が混在して
いる場合でも、絵柄領域全体および絵柄領域内の画素単
位での局所的な特徴量を算出し、その情報を補正係数や
補正方法に反映させることで、最適な画質補正を実現す
ることが可能となる。

【図面の簡単な説明】

【図１】本実施形態の画像処理装置を説明する構成図
である。

【図２】絵柄領域補正部を説明する構成図である。

【図３】処理フローチャートである。

【図４】領域分割を説明する図である。

【図５】絵柄度合いを説明する図である。

【図６】他の実施形態の絵柄領域補正部を説明する構
成図（その１）である。

【図７】他の実施形態の絵柄領域補正部を説明する構
成図（その２）である。

【図８】従来の補正方法を説明する図である。

【図９】文書に写真が貼り付けられた画像を示す図で
ある。

【図１０】暗い場所でフラッシュをたいて人物を撮影
した画像を示す図である。

【符号の説明】

１０１…画像入力部、１０２…領域分割部、１０３…絵
柄領域処理部、１０４…画像合成部、１０５…画像出力
部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｈ０４Ｎ 1/40 Ｈ０４Ｎ 1/40 Ｆ９Ａ００１ // Ｇ０６Ｔ 7/00 Ｇ０６Ｆ 15/70 ３２５３３０ＤＦターム(参考） 2C262 AA24 AB13 AB17 AC07 BA16 BA19 BC13 DA18 EA07 EA08 GA19 5B057 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CC01 CE08 CE09 CE11 5C076 AA01 AA13 AA27 AA36 BA06 5C077 LL19 MP06 MP07 MP08 PP10 PP15 PP21 PP23 PP27 PP28 PP36 PP47 PQ08 PQ12 PQ19 5L096 AA02 DA01 EA35 FA37 GA36 MA03 9A001 EE02 HH23 HH25 HH28 JJ35 KK31 KK42

Claims

【特許請求の範囲】

【請求項１】入力された画像データから絵柄領域と非
絵柄領域とを分割する領域分割手段と、前記領域分割手段において分割された絵柄領域の特徴の
みで画質補正を実行する絵柄領域補正手段と、前記絵柄領域補正手段において補正された絵柄領域と、
前記領域分割手段で分割された非絵柄領域とを合成する
画像合成手段とを備えていることを特徴とする画像処理
装置。
【請求項２】前記絵柄領域補正手段は、前記絵柄分割手段において分割された絵柄領域の絵柄度
合いを算出する絵柄度合い算出手段と、前記絵柄度合い算出手段の算出結果に基づいて、前記絵
柄領域から補正に必要な特徴量を算出する特徴量算出手
段と、前記絵柄度合い算出手段の算出結果および前記特徴量算
出手段の算出結果に基づいて、補正係数を算出する補正
係数算出手段と、前記絵柄度合い算出手段の算出結果および前記補正係数
算出手段の算出結果に基づいて、前記領域分割手段で分
割された絵柄領域の画像を補正する画像補正手段とを備
えていることを特徴とする請求項１記載の画像処理装
置。
【請求項３】前記絵柄領域補正手段は、前記絵柄分割手段において分割された絵柄領域の絵柄度
合いを算出する絵柄度合い算出手段と、前記絵柄度合い算出手段の算出結果に基づいて補正係数
を決定する補正係数決定手段と、前記絵柄度合い算出手段の算出結果および前記補正係数
決定手段で決定された補正係数に基づいて、前記絵柄領
域の画像を補正する画像補正手段とを備えていることを
特徴とする請求項１記載の画像処理装置。
【請求項４】前記絵柄領域補正手段は、前記絵柄分割手段において分割された絵柄領域の絵柄度
合いを算出する絵柄度合い算出手段と、前記絵柄度合い算出手段の算出結果に基づいて補正方法
を決定する補正方法決定手段と、前記絵柄度合い算出手段の算出結果に基づいて補正係数
を決定する補正係数決定手段と、前記絵柄度合い算出手段の算出結果および前記補正係数
決定手段で決定された補正係数および前記補正方法決定
手段で決定された補正方法に基づいて、前記絵柄領域の
画像を補正する画像補正手段とを備えていることを特徴
とする請求項１記載の画像処理装置。
【請求項５】前記絵柄度合い算出手段は、前記領域分
割手段で分割された絵柄領域の画素毎に前記絵柄度合い
を算出することを特徴とする請求項２記載の画像処理装
置。
【請求項６】前記絵柄度合い算出手段は、前記領域分
割手段で分割された絵柄領域の全体における前記絵柄度
合いを算出することを特徴とする請求項２記載の画像処
理装置。
【請求項７】前記絵柄度合い算出手段は、画像のエッ
ジ部分およびエッジで囲まれた閉領域の情報に基づいて
前記絵柄度合いを算出することを特徴とする請求項２記
載の画像処理装置。
【請求項８】前記絵柄度合い算出手段は、前記領域分
割手段で分割された絵柄領域の画素毎の絵柄度合いに基
づいて、その絵柄領域全体の絵柄度合いを算出すること
を特徴とする請求項２記載の画像処理装置。