JP2018029264A - 画像処理装置とその制御方法、及びプログラム - Google Patents

画像処理装置とその制御方法、及びプログラム Download PDF

Info

Publication number
JP2018029264A
JP2018029264A JP2016160216A JP2016160216A JP2018029264A JP 2018029264 A JP2018029264 A JP 2018029264A JP 2016160216 A JP2016160216 A JP 2016160216A JP 2016160216 A JP2016160216 A JP 2016160216A JP 2018029264 A JP2018029264 A JP 2018029264A
Authority
JP
Japan
Prior art keywords
brightness
pixels
area
histogram
highlight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016160216A
Other languages
English (en)
Other versions
JP2018029264A5 (ja
JP6671265B2 (ja
Inventor
市橋 幸親
Yukichika Ichihashi
幸親 市橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016160216A priority Critical patent/JP6671265B2/ja
Priority to US15/638,533 priority patent/US10348932B2/en
Publication of JP2018029264A publication Critical patent/JP2018029264A/ja
Publication of JP2018029264A5 publication Critical patent/JP2018029264A5/ja
Application granted granted Critical
Publication of JP6671265B2 publication Critical patent/JP6671265B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2323Non-hierarchical techniques based on graph theory, e.g. minimum spanning trees [MST] or graph cuts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/44Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/22Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7635Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks based on graphs, e.g. graph cuts or spectral clustering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6008Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6097Colour correction or control depending on the characteristics of the output medium, e.g. glossy paper, matt paper, transparency or fabrics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Discrete Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)

Abstract

【課題】画像データの光沢感を調整する時に、光沢感とは関係のない画素データの影響で、光沢感を感じられる画像かどうかを判断するためのヒストグラムが適切に取得できないことがある。
【解決手段】画像処理装置とその制御方法であって、画像データに含まれるオブジェクトを抽出し、そのオブジェクトのハイライト領域を抽出する。そして、そのオブジェクト内で前記ハイライト領域と当該ハイライト領域の周囲の画素を含む領域を求め、当該領域に含まれる画素の明度のヒストグラムを生成し、その生成したヒストグラムに基づいて前記ハイライト領域以外の画素の明度を調整する。
【選択図】 図3

Description

本発明は、画像処理装置とその制御方法、及びプログラムに関する。
近年、物体の表面の透明感、光沢、金属感等の質感を検知する方法、及び検知された質感を表示させる方法ついて様々な提案がなされている。例えば特許文献1には、バックライトを有する画像表示装置において、画像信号に対応した画像の表示制御を行うため、光沢部分の有無を判定し、画像全体の輝度を下げることなく、光沢感のある画像を表現する技術が記載されている。ここで、光沢部分が有るか否かを判定する方法として、非特許文献1に記載された明度ヒストグラムの歪度を利用して光沢度を算出する方法が用いられている。
一方、複合機やプリンタ等の画像処理装置で印刷される画像においても、色味や階調性に加え、質感や光沢感を表現することが求められている。更に、これらに関連して、人が感じる光沢感については、非特許文献1が参考になる。非特許文献1は、心理物理実験を通して、物理的な光沢や明るさ、明度ヒストグラムの歪みと知覚的な光沢や明るさとの間に高い相関関係があることを記載している。この相関関係によれば、例えば光沢が強い画像の表面ほど、明度ヒストグラムが正の方向に歪む(高い明度の方に画素の出現頻度がなだらかに広がる)ことを示す。よって、明度ヒストグラムの歪度に基づいて画像の表面の光沢度を評価することが可能になる。この明度ヒストグラムの歪みは、二色性反射モデルに基づいている。二色性反射モデルとは、光源からの光が物の表面に当った時、正反射光と拡散反射光の二種類の反射光が発生するというモデルである。ここで言う正反射光とは、光沢感のある物体を照らす光源の光が直接反射しており、画像上では光沢部と同義である。また拡散反射光とは、その物体の表面性や色の影響を受けて反射される光であり、画像上では、色味、質感を決める大きな要素である。非特許文献1では、正反射光と拡散反射光による明度ヒストグラムの歪み(歪度)が大きい程、光沢度を感じやすいことが説明されている。
特開2009−63694号公報
"Image statistics and the perception of surface qualities", Nature, 447, 206-209,(2007))
しかし、光沢感を調整するために、画像の明度ヒストグラムを取得し、光沢感を調整するための調整値を計算しても、適切な値が得られないことが多い。それは、光沢感の有無の判定と、光沢感の調整のために明度ヒストグラムを取得するには、観察者に光沢を感じさせるオブジェクトの明度を取得することが必要となる。画像データの明度は、その画像を構成する様々な要素によって成り立っている。例えば、自動車の写真であれば、その写真には背景と自動車が含まれ、更に自動車にはボディとタイヤ等が含まれる。またボディは大きく、影になっている部分などがあるため、その写真画像から取得した明度ヒストグラムは、観察者が光沢感を感じる場所以外の明度の影響を大きく受けてしまう。このため、画像が光沢部を含むかどうか正確に判定できないという課題がある。
本発明の目的は、上記従来技術の課題を解決することにある。
本発明の目的は、光沢感を感じる画像データを正確に判定できる技術を提供することにある。
上記目的を達成するために本発明の一態様に係る画像処理装置は以下のような構成を備える。即ち、
画像データに含まれるオブジェクトを抽出する第1抽出手段と、
前記オブジェクトのハイライト領域を抽出する第2抽出手段と、
前記オブジェクト内で前記ハイライト領域と当該ハイライト領域の周囲の画素を含む領域を求め、当該領域に含まれる画素の明度のヒストグラムを生成する生成手段と、
前記ヒストグラムに基づいて前記ハイライト領域以外の画素の明度を調整する調整手段と、を有することを特徴とする。
本発明によれば、光沢感を感じる画像データを正確に判定できるという効果がある。
本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。尚、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
添付図面は明細書に含まれ、その一部を構成し、本発明の実施形態を示し、その記述と共に本発明の原理を説明するために用いられる。
本発明の実施形態1に係る印刷システムの構成例を示す図。 実施形態1に係るプリントコントローラによる印刷処理を説明するフローチャート。 図2のS202の光沢感処理を説明するフローチャート。 実施形態1に係るビットマップイメージデータが表す写真画像の一例を説明する図。 図3のS302の光沢部の探索処理を説明するフローチャート。 図3のS304の明度ヒストグラムの作成処理を説明するフローチャート。 実施形態1に係るヒストグラムの一例を示す図。 実施形態1におけるトーン調整用のルックアップテーブルの生成方法を説明する図。 本発明の実施形態2において、図3のS301のオブジェクトを抽出した例を示す図。 実施形態2に係る図3のS304の明度ヒストグラムの作成処理を説明するフローチャート。 実施形態3で利用する光沢感処理(S1002)の詳細フローチャートである。
以下、添付図面を参照して本発明の実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
[実施形態1]
図1は、本発明の実施形態1に係る印刷システムの構成例を示す図である。
プリントコントローラ100は、印刷装置I/F部104を介して印刷装置110と接続されている。プリントコントローラ100は、ネットワークI/F部105を介してネットワーク111に接続され、このネットワーク111にはPC(パーソナルコンピュータ)112が接続されている。そして印刷時には、プリントコントローラ100が、PC112からPDL(Page Description Language)を受ける。プリントコントローラ100は操作部107を有しており、ユーザは、この操作部107を介して、各種指示やコマンド等を入力することができる。
プリントコントローラ100は更に、CPU101、ROM102、RAM103、画像処理部106を有する。以降で説明するフローチャートで示す処理は、ROM102に格納されたプログラムに従って、CPU101がRAM103を利用しながら処理を実行することにより実現される。画像処理部106は、CPU101が実行すると多くの時間を要する処理を高速で実施できる専用の演算回路を有し、CPU101の処理の一部を実行している。但し、実施形態1では、特にCPU101の演算と画像処理部106での演算の区別は付けていないので、どちらでの演算であるかは限定しない。
図2は、実施形態1に係るプリントコントローラ100による印刷処理を説明するフローチャートである。尚、この処理は、CPU101がROM102に記憶されているプログラムを実行することにより達成される。
まずS201でCPU101は、PC112から受信したPDLデータを解釈してビットマップイメージデータを生成する。このPDLデータには、写真画像などのイメージやグラフィックの描画データ等が記述されており、CPU101によりPDLデータが解釈されてRGBのカラービットマップイメージデータが生成される。こうして生成されたビットマップイメージデータは、一旦、RAM103に格納される。次にS202に進みCPU101は、RAM103に格納したビットマップイメージデータに基づいて光沢感処理を行う。この光沢感処理の詳細は、図3のフローチャートを参照して説明する。尚、本実施形態1では、写真画像の光沢感を制御することが目的であるため、ビットマップイメージデータは特定のオブジェクトを撮影した写真画像に基づくものとする。こうして光沢感処理が終了するとS203に進み、その処理済の画像データを印刷装置110に出力して印刷させる。印刷装置110は、RGB画像データを入力してCMYK画像データに変換した後、ハーフトーン処理を行って、その画像データに基づく画像をシートに印刷する。
但し、本発明は印刷処理以外にも適用可能である。例えば、RGB画像データをネットワークI/F部105から、再度PC112に転送して電子画像としてPC112に保存させたり、或いはモニタに表示させることも可能である。
図3は、実施形態1に係るプリントコントローラ100による処理である、図2のS202の光沢感処理を説明するフローチャートである。
まずS301でCPU101は、ビットマップイメージデータからオブジェクトを抽出する。ここでは写真画像からオブジェクトを抽出するために、領域分割アルゴリズムを用いる。近年では、様々な領域分割アルゴリズムが提案されている。例えば、グラフカットアルゴリズムによって、ビットマップデータの画素毎にグループを形成していく。その結果、グループの統合などを繰り返すことで、1枚の写真画像から、例えば自動車などの意味をもった領域をオブジェクトとして抽出できる。ここでは、画像の中心に近く、画像全体の面積の3割以上の大きさのオブジェクトであれば第1オブジェクトと判断する。また、抽出するオブジェクトは複数あってもよい。複数のオブジェクトがある場合は、以降の処理を、各オブジェクトに対して実施する。ここでは説明を簡単にするために、第1オブジェクトに対して処理を実施する例で説明する。
図4は、実施形態1に係るビットマップイメージデータが表す写真画像の一例を説明する図である。
図4(A)は、自動車の写真画像全体を示し、自動車とその背景が含まれている。図4(A)の画像に対して領域分割処理を行うと、図4(B)の様に、第1オブジェクトとして、自動車のボディ部分400が抽出される。
次にS302に進みCPU101は、そのオブジェクトから光沢部を探索する。即ち、そのオブジェクトに含まれる光沢部を探索する。
図5は、図3のS302の光沢部の探索処理を説明するフローチャートである。
先ずS501でCPU101は、ビットマップイメージデータを明度画像データに変換する。ここではRGB画像データを明度データに変換するが、その変換式は、RGB画像の色空間によって変わる。ここでは、CIE-sRGB色空間で定義されたRGBデータと考えると、明度信号(L)は、以下の式(1)で計算できる。
[数1]
L=(((0.21×R2.2/255 + 0.71×G2.2/255 + 0.07×B2.2/255))/100)1/3×255/100
ここで、Rは画像データの赤(Red)の信号値、Gは画像データの緑(Green)の信号値、Bは画像データの青(Blue)の信号値である。これは、CIE−L*a*b*の共通な色空間における明度成分(L*)のみを取り出す式である。
次にS502に進みCPU101は、オブジェクトの明度が閾値以上である部分を抽出することによって2値画像を生成する。ここでは、オブジェクトのハイライト領域を抽出することが目的である。よって、この閾値は、例えば明度画像が8ビットの画像データの場合、例えば「210」以上が適切である。但し、写真撮影時に露光量が少なく、画像データの中で一番明るくなる筈の正反射光でも「210」以下になってしまうことがある。この様な場合は、コントラストの調整等を行い、S502を実行する前に、画像データを適切なデータに変換する必要がある。こうして2値化された例を図4(C)に示す。図4(C)では、分かりやすい様にオブジェクトの縁を破線で表現しているが、これは2値化処理を行う画像の範囲を示すもので、画像データではない。図4(C)の例では、オブジェクトからハイライト領域401が抽出されている。
次にS503に進みCPU101は、S502で抽出したハイライト領域401の塊の中心位置とサイズを取得する。このような画素の塊を検出する方法としては、2値画像(ハイライト領域とハイライト領域以外)の境界部を探索して、境界部が繋がった所を塊とする方法がある。こうして境界部の座標を特定すると、境界部の座標を用いて積分を行って、その塊のサイズを演算する。また塊の境界部の座標の算術平均を用いることにより、その塊の中心座標を算出することができる。また、このような塊が複数検出された場合は、各塊のサイズと位置を算出する。
次にS504に進みCPU101は、S503で算出したハイライト領域の塊(光沢部)の中で、最大サイズの塊の位置とサイズを特定し、それを光沢部として特定してS303に進む。尚、S503で光沢部が見つからなかった場合は、そのサイズを「0」とすることで、光沢部が見つからなかったことが判別できる。以上で、S302の光沢部の探索処理の説明を終了する。
次に図3のS303に進みCPU101は、S302の光沢部の探索処理で光沢部が検出されたかどうか判定し、検出されたときはS304の処理に進み、そうでないとき、即ち、光沢部のサイズが「0」であれば、光沢部無しと判断してこの処理を終了する。S304でCPU101は、S302で見つけた光沢部とその周辺の明度を使って明度ヒストグラムを生成する。
図6は、図3のS304の明度ヒストグラムの作成処理を説明するフローチャートである。
まずS601でCPU101は、S302で見つけた光沢部の中心位置とサイズとから、仮の物体明度を特定する。例えば、光沢部のサイズが30画素である場合、歪度を十分に算出できる量の領域が必要となる。ここでは、そのための倍率Sとして、(30×S)画素の領域を選択する。ここでSは、仮に100倍程度あれば十分であるので「100」とする。この領域を求めるには、光沢部の中心座標から、外部に向かって画素数をカウントして領域を求める方法が考えられる。但し、この領域はオブジェクト内に収める必要があるため、オブジェクトから外に出たときは、カウント対象から外す。
次にS602に進みCPU101は、S601で決定した領域内で、光沢部以外の画素の明度の最頻度値を取得する。
図7(A)は、実施形態1に係るヒストグラムの一例を示す図で、光沢部以外の画素の明度の出現頻度が最も高い明度を仮の物体明度とする。図7(A)の例では、光沢部の画素の明度の最頻度値は「230」であり、光沢部以外の画素の明度の最頻度値(仮の物体明度)は、ほぼ「90」となっている。
次にS603に進みCPU101は、そのオブジェクト内で、且つ光沢部以外の各画素について、それら画素の明度を最終的なヒストグラムのカウントに入れるかどうかを判定する。これは、その画素の光沢部の中心からの距離に応じて判断する。各画素について、以下の式(2)を計算する。
[数2]
(L(x,y)−L)×√((x−x0)+(y‐y0))<閾値
但し、x,yは、光沢部外の座標、L(x,y)は、各画素の明度、Lは仮の物体明度である。x0は、光沢部の中心のx座標、y0は光沢部の中心のy座標である。
尚、閾値は、予め設定された値である。この式(2)で、閾値よりも大きい画素については、明度ヒストグラムの計算に使用しない対象外の画素と判定する。
次にS604に進みCPU101は、そのオブジェクト内の光沢部以外の画素(光沢部の周辺領域の画素)の明度ヒストグラムを作成する。但し、ここでは、S603で対象外と判断された画素以外の画素の明度に基づいて明度ヒストグラムを作成する。
ここで作成される明度ヒストグラムの例を図7(B)に示す。図7(B)では、光沢部のS倍の広さの領域において最も出現頻度の高い画素の明度に基づいて、物体の明度が特定されている。
次に図3に戻り、S304で明度ヒストグラムの作成処理を完了するとS305に進みCPU101は、S304で取得した明度ヒストグラムから、明度ヒストグラムの歪み(歪度)を計算する。この歪度は以下の式(3)で算出される。
[数3]
歪度=Σ(Xi−Xave)/N×σ
N:データの件数、Xi:各データの値、Xave:算術平均、σ:標準偏差
次にS306に進みCPU101は、S305の歪度が正かどうか、即ち、オブジェクトに光沢感があるかどうか判定する。ここで歪度が負であった場合は、そのオブジェクトには光沢感が無いと考えられるため、そのままこの処理を終了する。光沢感があると判定した画像であれば、画像データを調整することで、より光沢感を上げることができるためS307に処理を進める。
S307でCPU101は、S304で取得した明度ヒストグラムから、光沢部の明度と、物体の明度とを取得する。光沢部の明度は、正反射光で構成されているため、高明度領域で小さなピークを持つ。
図7の例では、光沢部の明度は、210以上の高い明度の部分でピークを持っており、これから光沢部の明度を取得できる。また、物体明度は、最頻値を採用することができる。何故なら、オブジェクトの中で最も領域の大きい部分が物体の持つ明度と断定できるためである。図7(B)では、図4の自動車のボディの色の明度である物体明度が、例えば略「100」で求められている。
次にS308に進みCPU101は、S307で求めた物体明度が暗過ぎないかどうか判定する。ここで物体明度が暗すぎる(例えば、100未満)であると、物体明度が暗過ぎると判定して、この処理を終了する。物体明度が暗い場合は、明度ヒストグラムの歪度を拡大させても、物体部が暗くなり過ぎる弊害を避ける必要がある。物体明度が100〜200程度であれば、トーン調整により光沢感を上げることができる。
S308で物体明度が暗過ぎない、即ち、十分に明るいと判定するとS309に進みCPU101は、S307で算出した物体明度と光沢部の明度とを用いて、トーン調整用のルックアップテーブルを生成する。
図8は、実施形態1におけるトーン調整用のルックアップテーブルの生成方法を説明する図である。
ここでは先ずN個の補間点を生成する。図8では、N=6としている。この時の補間点は、入力値と出力値が同じ値で、6個が均等な間隔で生成される。次に、入力値が物体明度と光沢部の明度である値を特定する。これらはそれぞれ、S305で取得済みである。
図8では、物体明度に対応した補間点を補間点aとしている。更に、光沢部の明度に対応した補間点を補間点bとしている。そして、光沢部の明度よりも低い出力値について、一定割合、明度を下げる。この場合、20%〜30%程度下げると良いが、操作部107からこの下げ幅を調整する調整値を受け付けても良い。ここで物体明度を下げる理由は、物体明度を下げることで、明度ヒストグラムをさらに歪ませることができるためである。このように明度ヒストグラムを更に歪ませると、その分、物体における光沢感を得やすい。補間点bよりも暗い補間点では、20%〜30%低下させている。こうして、このルックアップテーブルは、補間点bにおける出力値は変わらない様に維持し、補間点aから補間点bの間の補間点については、補間点bに近づくに従って徐々に下げる量を0%になるという特性を有している。こうして補間点が定まると、それら補間点をスプライン補間などの補間演算方法で繋げる。こうして得られた特性曲線を数値化したデータで構成されるルックアップテーブルを生成する。
次にS310に進みCPU101は、写真画像のRGB各画素データをCIE−L*a*b*に変換し、オブジェクトの画素の明度(L)にのみ、S309で生成されたルックアップテーブルを適用する。そして、RGBデータに再変換して、S202の光沢感処理を終了する。
以上説明したように実施形態1によれば、光沢部の周辺領域を適切に決定し、この領域の明度を調整することが可能になる。これにより、画像データで表された画像の光沢感を強調できるという効果がある。
[実施形態2]
前述の実施形態1では、領域分割の結果、分割されたオブジェクトが単純な構成であった。つまり、領域分割により自動車のボディだけが抽出されているため、光沢部の明度と物体の明度を容易に取得できた。しかし、実際には自動車のタイヤなどが含まれた状態で分割することも考えられる。例えば、機会学習などを用いたオブジェクトの意味的な分割を行う場合は、タイヤまでを自動車と判断する。オブジェクトの意味的な分割の方が、画像検索などの応用技術が広いためである。更に、自動車のボディが非常に大きい場合、光沢部から離れた場所については、光沢感への影響が低いにも関わらず、光沢感の調整に大きく影響してしまうことも考えられる。そこで実施形態2では、意味的に分割されたオブジェクトや、大きなオブジェクトに対しても光沢感を調整できる方法について説明する。但し、実施形態2に係る印刷システムの構成等は前述の実施形態1と同じであるため、実施形態1と異なる箇所についてのみ説明する。
図9は、本発明の実施形態2において、前述のS301のオブジェクトを抽出した例を示す図である。
図9(A)は、自動車の写真画像全体を示し、自動車とその背景が含まれている。図9(B)では、自動車のタイヤなども含めてオブジェクト900として判断されている。
前述の実施形態1との差分は、S304の明度ヒストグラムの作成方法であるため、これについて、図10のフローチャートを参照して説明する。
図10は、実施形態2に係る図3のS304の明度ヒストグラムの作成処理を説明するフローチャートである。
図10のS601〜S602、S604の処理は、実施形態1で説明した図6のフローチャートと同じであるため、その説明を省略する。但し、S601の倍率Sは、実施形態1よりも大きな値であることが前提である。例えば、実施形態1ではS=100程度としているが、S=300程度は必要だと思われる。
そしてS1001でCPU101は、明度ヒストグラムの最頻値から大きく外れている明度の画素をヒストグラムの対象から除外する。人が感じる光沢感は、光沢部とその周囲の物体の明度ヒストグラムの歪度に依存している。これにより、同じオブジェクトとして判定されているが、違う材料のものなどを除外することができる。これにより図9(A)のオブジェクト900からタイヤ部分を除去することができる。これは、大きく外れている明度を有する画素は、光沢感とは関係無い画素であることが考えられるためである。例えば、図9(D)では、自動車のタイヤの部分は、明度ヒストグラムを求める領域の対象外としている。この部分については、領域選択から外して、再度、明度ヒストグラムを算出する。
次にS1002に進みCPU101は、S1001で得られた領域の大きさが、ヒストグラムを作成するのに十分な画素数を含んでいるかどうか、即ち、その領域のサイズが倍率Sよりも小さいかどうか判定する。ここで小さいと判定すると、その領域が十分な大きさでないためS1003に進みCPU101は、領域の範囲を広げてS602に進み、S602の処理を再度実施する。例えば、倍率SをS×1.1倍にするなど、選択する画素数を多く取ることでヒストグラムを作成するのに十分な画素数を確保する。こうしてS1002でCPU101が、ヒストグラムを作成するのに十分なサイズ、即ち、光沢部のサイズのS倍となったと判定するとS604に進み、その領域内の画素の明度に基づいて明度ヒストグラムを算出する。
以上説明したように実施形態2によれば、例えば、自動車のタイヤなども含めてオブジェクトとして判定された場合でも、そのオブジェクト内で、明度ヒストグラムを求める対象となる領域を抽出して明度ヒストグラムを求めることができる。これにより、明度差の大きい画素が含まれるオブジェクトが判定された場合でも、明度ヒストグラムを求める最適な領域を決定し、その領域から得られた明度ヒストグラムに基づいて光沢部の光沢感を調整できる。
[実施形態3]
前述の実施形態1では、決められた割合で補間点を下げて明度調整用のルックアップテーブルを作成した。これに対して実施形態3では、複数のルックアップテーブルを生成し、自動で最適な光沢感の画像を生成するためのルックアップテーブルを選択する例で説明する。
図11は、実施形態3に係る図2のS202の光沢感処理を説明するフローチャートである。尚、図11では、前述の実施形態1に係る図3のフローチャートと共通する部分は同じ参照番号で示し、その説明を省略する。
S1101でCPU101は、光沢感を調整するための調整値候補を取得する。ここでは、この調整値候補は、ROM102に予め記憶されているものとするが、操作部107から入力されたものでも良い。ここで調整値候補は、例えば、10%〜40%まで5%刻みで設定されるものとする。この調整値は、例えば図8の例では、補間点bよりも暗い補間点の明度を下げる割合を示している。
その後、S309、S310で、各調整値に応じたルックアップテーブルを作成し、そのルックアップテーブルを使用して明度補正を行う。これは実施形態1と同じである。次にS1102に進みCPU101は、歪度の再計算を行う。この歪度の計算式は、式(3)で説明済みである。尚、この時に計算した歪度と補正後の画像データをRAM103に格納する。そしてS1103に進みCPU101は、S1101で挙げた調整値候補を全て適用しているかを判断する。適用が終わっていればS1104に進み、終わっていなければS1101に戻って再計算を行う。S1104でCPU101は、S1102で取得した歪度の中で、最も高い歪度になった画像データを光沢感処理後のデータとして採用する。
以上説明したように実施形態3によれば、明度調整用の複数のルックアップテーブルを生成し、それらの中から、明度ヒストグラムの歪度が最も高くなるルックアップテーブルを使用して画像データの光沢感を調整できる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は上記実施形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために、以下の請求項を添付する。
100…プリントコントローラ、101…CPU、102…ROM、103…RAM、107…操作部

Claims (9)

  1. 画像データに含まれるオブジェクトを抽出する第1抽出手段と、
    前記オブジェクトのハイライト領域を抽出する第2抽出手段と、
    前記オブジェクト内で前記ハイライト領域と当該ハイライト領域の周囲の画素を含む領域を求め、当該領域に含まれる画素の明度のヒストグラムを生成する生成手段と、
    前記ヒストグラムに基づいて前記ハイライト領域以外の画素の明度を調整する調整手段と、
    を有することを特徴とする画像処理装置。
  2. 前記生成手段は、前記オブジェクト内で、当該オブジェクトの明度ヒストグラムの最頻値から大きく外れている明度の画素をヒストグラムの対象から除外したオブジェクト内で、前記ハイライト領域と当該ハイライト領域の周囲の画素を含む領域を求め、当該領域に含まれる画素の明度のヒストグラムを生成することを特徴とする請求項1に記載の画像処理装置。
  3. 前記領域のサイズは、前記ハイライト領域のサイズの少なくとも100倍のサイズであることを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記調整手段は、ルックアップテーブルを使用して前記画素の明度を調整し、
    前記ルックアップテーブルは、前記ハイライト領域の画素の明度は維持し、前記領域に含まれる前記ハイライト領域以外の画素の明度を低下させる特性を有していることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 前記調整手段は、互いに異なる複数のルックアップテーブルを使用して前記画素の明度を調整し、画素の明度のヒストグラムの歪度が最も高いヒストグラムに基づいて前記ハイライト領域以外の画素の明度を調整することを特徴とする請求項4に記載の画像処理装置。
  6. 前記領域は、前記ハイライト領域からの距離、或いは、前記ハイライト領域の画素の明度と前記ハイライト領域の周囲の画素の明度との差の少なくともいずれかに応じて決定されることを特徴とする請求項1に記載の画像処理装置。
  7. 前記調整手段は、前記ヒストグラムの歪度が正の場合に、前記ハイライト領域以外の画素の明度を調整することを特徴とする請求項1に記載の画像処理装置。
  8. 画像処理装置を制御する制御方法であって、
    第1抽出手段が、画像データに含まれるオブジェクトを抽出する第1抽出工程と、
    第2抽出手段が、前記オブジェクトのハイライト領域を抽出する第2抽出工程と、
    生成手段が、前記オブジェクト内で前記ハイライト領域と当該ハイライト領域の周囲の画素を含む領域を求め、当該領域に含まれる画素の明度のヒストグラムを生成する生成工程と、
    調整手段が、前記ヒストグラムに基づいて前記ハイライト領域以外の画素の明度を調整する調整工程と、
    を有することを特徴とする画像処理装置の制御方法。
  9. コンピュータを、請求項1乃至7のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2016160216A 2016-08-17 2016-08-17 画像処理装置とその制御方法、及びプログラム Active JP6671265B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016160216A JP6671265B2 (ja) 2016-08-17 2016-08-17 画像処理装置とその制御方法、及びプログラム
US15/638,533 US10348932B2 (en) 2016-08-17 2017-06-30 Image processing apparatus, method of controlling the same, and non-transitory computer-readable storage medium that decrease the lightness of pixels, except for a highlight region, based on a generated lightness histogram

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016160216A JP6671265B2 (ja) 2016-08-17 2016-08-17 画像処理装置とその制御方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2018029264A true JP2018029264A (ja) 2018-02-22
JP2018029264A5 JP2018029264A5 (ja) 2019-08-22
JP6671265B2 JP6671265B2 (ja) 2020-03-25

Family

ID=61192478

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016160216A Active JP6671265B2 (ja) 2016-08-17 2016-08-17 画像処理装置とその制御方法、及びプログラム

Country Status (2)

Country Link
US (1) US10348932B2 (ja)
JP (1) JP6671265B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11518774B2 (en) * 2018-11-12 2022-12-06 Shin-Etsu Chemical Co., Ltd. Method for producing iodine-containing silicon compound

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6671265B2 (ja) * 2016-08-17 2020-03-25 キヤノン株式会社 画像処理装置とその制御方法、及びプログラム
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
CN111598813B (zh) * 2020-05-25 2023-05-19 抖音视界有限公司 人脸图像处理方法、装置、电子设备及计算机可读介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338377A (ja) * 2005-06-02 2006-12-14 Fujifilm Holdings Corp 画像補正方法および装置並びにプログラム
JP2008035328A (ja) * 2006-07-31 2008-02-14 Fujifilm Corp テンプレート生成装置、画像配置装置、変更テンプレート生成装置およびそのプログラム
JP2008234342A (ja) * 2007-03-20 2008-10-02 Fujifilm Corp 画像処理装置及び画像処理方法
JP2009063694A (ja) 2007-09-05 2009-03-26 Seiko Epson Corp 画像処理装置、画像表示装置、画像処理方法及びプログラム
JP5454109B2 (ja) * 2009-12-02 2014-03-26 セイコーエプソン株式会社 色指定制御装置、色指定制御方法および色指定制御プログラム
US9007394B2 (en) * 2012-12-21 2015-04-14 Wipro Limited Method and system for dynamic brightness correction in digital images
JP2017123588A (ja) * 2016-01-08 2017-07-13 富士ゼロックス株式会社 色処理装置、画像形成装置および画像形成システム
US10235409B2 (en) * 2016-01-28 2019-03-19 Splunk Inc. Identifying field values based on delimiters
WO2017165538A1 (en) * 2016-03-22 2017-09-28 Uru, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
JP6671265B2 (ja) * 2016-08-17 2020-03-25 キヤノン株式会社 画像処理装置とその制御方法、及びプログラム
US10061984B2 (en) * 2016-10-24 2018-08-28 Accenture Global Solutions Limited Processing an image to identify a metric associated with the image and/or to determine a value for the metric
JP6834470B2 (ja) * 2016-12-27 2021-02-24 富士ゼロックス株式会社 色処理装置、画像形成装置および画像形成システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11518774B2 (en) * 2018-11-12 2022-12-06 Shin-Etsu Chemical Co., Ltd. Method for producing iodine-containing silicon compound

Also Published As

Publication number Publication date
US10348932B2 (en) 2019-07-09
US20180054547A1 (en) 2018-02-22
JP6671265B2 (ja) 2020-03-25

Similar Documents

Publication Publication Date Title
JP4902837B2 (ja) モノクロ画像への変換方法
JP5889431B2 (ja) 画像処理装置及び画像処理方法
US8659793B2 (en) Image processing apparatus and image processing method
JP6671265B2 (ja) 画像処理装置とその制御方法、及びプログラム
JP6417851B2 (ja) 画像処理装置、および、コンピュータプログラム
CN108012046B (zh) 在打印介质上形成图像的装置、方法以及存储介质
KR20170000792A (ko) 화상처리장치, 화상처리장치의 제어 방법 및 기억 매체
JP2009071541A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
US20100100813A1 (en) Document processing apparatus and document processing method
JP2008011286A (ja) 画像処理プログラムおよび画像処理装置
US9989875B2 (en) Image processing apparatus, image processing method, and storage medium
JP2014017562A (ja) 制御装置、および、プログラム
JP2019145940A (ja) 画像処理装置、画像処理方法、およびプログラム
JP6794858B2 (ja) 画像処理装置及び画像処理方法
JP4708866B2 (ja) ルックアップテーブル作成装置および方法,ならびにルックアップテーブル作成プログラム
JP2013045205A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US10477066B2 (en) Image processing apparatus to extract luminance data from image data, method for controlling the same, and storage medium
JP4775328B2 (ja) 画像処理装置およびプログラム
JP2017130721A (ja) 画像処理装置及びプログラム
JP5915410B2 (ja) 画像処理装置及びプログラム
JP2017013481A (ja) 画像処理装置、画像処理装置の画像処理方法、及びプログラム
JP2008187327A (ja) 画像処理装置およびこれを備えた画像形成装置
JP4867693B2 (ja) 文書編集装置およびプログラム
JP2006114994A (ja) 画像処理方法、画像処理装置および画像形成システム
JP5915411B2 (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190708

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190708

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200303

R151 Written notification of patent or utility model registration

Ref document number: 6671265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151