JP2004192401A

JP2004192401A - 画像処理装置、画像処理方法及び画像処理プログラム

Info

Publication number: JP2004192401A
Application number: JP2002360419A
Authority: JP
Inventors: Toshiya Koyama; 俊哉小山
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2002-12-12
Filing date: 2002-12-12
Publication date: 2004-07-08

Abstract

【課題】画像オブジェクトの領域を判別し、各画像オブジェクトの領域に応じた画像処理を行うことができる画像処理装置を提供する。
【解決手段】画像処理装置１は、画像入力部３と、入力画像を構成する画素の画素値の出現度合いに基づいて、画像オブジェクトの領域を判別する領域判別部５と、判別された各画像オブジェクトの領域に応じて入力画像を処理する手段とを有する。また、画像処理装置１は、出現度合い算出部３１により算出された画素値の出現度合い及び所定の閾値に基づいて、画像オブジェクトに使用される使用色を特定する使用色特定部３３と、特定された使用色に基づいて、処理対象画素の属性を特定する属性特定部３４とを有する。
【選択図】図４

Description

【０００１】
【発明の属する技術分野】
本発明は、グラフィックス処理により人工的に生成された文字やイラストなどのグラフィックス画像と、静止画カメラあるいは動画カメラなどの撮影装置により撮影して得られた写真画像などの撮影画像とが混在した画像を取り扱う画像処理装置、画像処理方法及び画像処理プログラムに関する。
【０００２】
【従来の技術】
今日では、パソコンやデジタルカメラ（スチルおよびムービーの何れをも含む）の普及に伴い、カメラの撮影により得られた撮影画像（自然画像）に対し、たとえば市販の画像編集ソフトを使用して編集処理を施したり、あるいはコンピュータグラフィックス（ＣＧ）処理で人工的に生成したロゴ文字やイラストなどのグラフィックス画像（ＣＧ画像・人工画像）と撮影画像とを合成して新たな画像を生成したりすることが簡単になっている。
【０００３】
一方、たとえば、年賀用の文字やイラストと、撮影画像の一例である写真を挿入するための空白領域とからなるテンプレートを利用して写真入り年賀用ポストカードを作成するといった加工プリントサービスが古くから行なわれている。従来、このサービスを行なうためには、メーカによって予め作成された文字や図形などを適当に配置したテンプレート（デザインパターン）をラボの店頭などで提供し、ユーザが提示する写真（ユーザ写真）のネガフィルムから読み取った写真画像に対し、色、階調あるいは明るさなどに関する各種補正処理を施してから、ユーザにより選択されたテンプレートと補正処理がされた写真画像とを合成する画像編集をラボのオペレータが行なっていた。
【０００４】
補正処理は、たとえば露出の過不足など撮影条件が不適当で、そのまま再生しても高画質な再生画像が得られない場合や、撮影者の好みに応じて、画質を向上する目的で行なわれている。さらに、最近では、画質に拘わらず、たとえばセピア調にしたり、あるいは夕日の雰囲気を強調するためにオレンジがかった仕上がりにするというように、撮影者の希望に応じて必要な補正処理を施すこともある。
【０００５】
ところが、今日では、前述のように、テンプレートなどのＣＧ画像と写真画像とを混在させた画像を生成することが簡単になっているので、ＣＧ画像と写真画像とを合成してポストカードサイズのビットマップ画像を作成し、このビットマップ画像が記録されたＦＤやＣＤ−Ｒをラボに持ち込むという方法が採られることもある。また、インターネットなどのネットワークを利用したフォトフィニッシングシステム（ネットワークフォトサービス）を利用して、ユーザが管理者側の画像サーバにアクセスして、印刷注文するという方法が採られることもある。
【０００６】
ここで、ポストカードは、たとえば写真を自然の状態で美しく、文字を読み易くすることができるかのように、いかに見栄えがよく、美しく仕上がるのか、また、イラスト部分は鮮やかに、印画紙に焼き付けることができるのかが重要なポイントとなる。
【０００７】
従来、たとえばネガフィルムなどに記録された原画像を顧客が写真店に持ち込み、原画像に住所、氏名などの文字データやテンプレート画像を組み込んで印画紙に焼き付け、ポストカードを作成していたので、写真部分とＣＧ画像部分とをポストカードの紙面上で明瞭に分離でき、それぞれ別の工程で焼き付けることができた。たとえば前述のように、ネガフィルムを利用して、写真部分だけを、たとえば、色、階調、明るさなどの補正処理のほか、白黒仕上げ、セピア仕上げ、赤目補正などの画像処理ができた。
【０００８】
しかしながら、たとえばＣＧ画像と写真画像とが合成されたビットマップ画像がユーザより提供された場合には、写真画像とＣＧ画像とがポストカードの紙面上で分離されていないので、そのままでは、写真画像とＣＧ画像とに対して、それぞれ異なるパラメータで画像処理をすることはできない。
【０００９】
この場合、たとえば、以下の特許文献に提案されているように、２値画像で表現される文字部分（主に黒文字）と階調画像で表現される絵画像（写真や網点）とを自動判別する手法を採用して、写真画像とＣＧ画像との領域を切り分けることが考えられる。特開平７−０９９５８１号公報（特許文献１）は、連続階調画像などの構成要素の領域の境界を抽出し、抽出した境界が生成する部分領域内の画像種類を判定することにより、各種画像種類に適した画像処理を行うというものである。
【００１０】
また、特開平７−０７４９６６号公報（特許文献２）は、ＤＣＴ変換から得られたＤＣＴ変換係数のＡＣ成分の低周波数域に属する５つの変換係数の絶対値和（ＡＳ）を求め、その和を比較回路に入力して所定の２つ閾値（ＴＨ１、ＴＨ２）と比べる。その結果、ＡＳがＴＨ１より大きいか、或は、ＴＨ２より小さければそのブロックは文字領域と判定し、それ以外ならば写真ブロックと判定するというものである。
【００１１】
また、特開平７−０３８７６１号公報（特許文献３）は、画像データを分割し、第１処理ブロックの画像が文字画像、網点画像、写真画像の何れの画像であるのかを判別し、判別結果に基づき適当な量子化テーブルで第１係数データを量子化し、量子化データを可変長符号化するというものである。また、特開平５−３２８１４３号公報（特許文献４）は、カラー画像信号Ｒ、Ｇ、Ｂをブロック判定部においてブロック単位に分割した後エッジの存在を判定し、また限定色の存在を判定するというものである。
【００１２】
【特許文献１】
特開平７−０９９５８１号公報
【特許文献２】
特開平７−０７４９６６号公報
【特許文献３】
特開平７−０３８７６１号公報
【特許文献４】
特開平５−３２８１４３号公報
【発明が解決しようとする課題】
しかしながら、従来の領域判別の手法は、専ら、文字部分と絵画像とを分別するものであって、個々のＣＧ画像部分（グラフィクス画像オブジェクト）と個々の写真画像部分（写真画像オブジェクト）とは何れも階調画像を表す絵画像であるため、ＣＧ画像部分と写真画像部分とを分別することはできない。このため、従来の領域判別の手法を採用した場合、ＣＧ画像と撮影画像とが合成された画像中の撮影画像部分だけ、またはＣＧ画像部分だけを画像編集することは難しい。たとえば、文字やイラストと写真画像とが混在したポストカードを表すＣＧ／写真混在画像中の、写真部分だけを自然の状態で美しくなるように画像編集することはできない。
【００１３】
このため、たとえばＣＧ／写真混在画像がユーザから提供された場合において、たとえば写真部分だけを色調や明るさ補正をしようとする場合、ラボのオペレータは、端末画面上で画像を確認しながら、手作業でＣＧ画像と写真画像とを切り分けなければならなかった。ＣＧ画像と写真画像とがそれぞれ別のエリアにレイアウトされているときにはこの作業は比較的簡単であるが、ＣＧ画像と写真画像とが重なっているときには、たとえば写真画像オブジェクトとグラフィクス画像オブジェクトとの境界をなぞって写真部分を特定しなければならず、その作業が非常に大変である。
【００１４】
本発明は、上記問題点に鑑みなされたものであり、画像オブジェクトの領域を判別し、各画像オブジェクトの領域に応じた画像処理を行うことができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【００１５】
【課題を解決するための手段】
上記課題を解決するために、請求項１記載の画像処理装置は、複数の種類の画像オブジェクトで構成される画像を入力する画像入力部と、該画像入力部により入力された入力画像を構成する画素の画素値の出現度合いに基づいて、前記画像オブジェクトの領域を判別する領域判別部と、該領域判別部により判別された各画像オブジェクトの領域に応じて前記入力画像を処理する手段と、を有することを特徴とする。
【００１６】
請求項１記載の発明によれば、入力された入力画像を構成する画素の画素値の出現度合いに基づいて、画像オブジェクトの領域を判別して、判別された各画像オブジェクトの領域に応じて入力画像を処理するようにしたので、例えば、グラフィックス処理により生成されたグラフィックス画像オブジェクトと撮影装置により撮影された写真画像オブジェクトなどのように、何れも階調画像を表す絵画像であっても、画像オブジェクトの領域を判別できる。従って、各画像オブジェクトの領域に応じて独立のパラメータを用いて画像処理を行うことができる。
【００１７】
また、請求項２のように、請求項1記載の画像処理装置において、前記領域判別部は更に、前記画素値の出現度合いを算出する出現度合い算出部と、該出現度合い算出部により算出された前記画素値の出現度合い及び所定の閾値に基づいて、前記入力画像に使用される使用色を特定する使用色特定部と、該使用色特定部により特定された該使用色に基づいて、前記入力画像に含まれる処理対象画素の属性を特定する属性特定部と、を有することを特徴とする。
【００１８】
請求項２記載の発明によれば、画素値の出現度合い及び所定の閾値に基づいて、入力画像に使用される使用色を特定し、特定した使用色に基づいて、入力画像に含まれる画素の属性を特定するようにしたので、例えば、比較的使用色の少ないグラフィックス画像オブジェクトと比較的使用色の多い写真画像オブジェクトとを判別することができ、何れも階調画像を表す絵画像であっても、画像オブジェクトの領域を判別できる。
【００１９】
また、請求項３記載のように、請求項２記載の画像処理装置において、前記領域判別部は更に、前記処理対象画素の近傍に存在する近傍画素の属性、及び該近傍画素と前記処理対象画素との連続性に基づいて、前記属性特定部により特定された前記処理対象画素の属性を補正する第１の属性補正部を有することを特徴とする。
【００２０】
請求項３記載の発明によれば、処理対象画素の近傍に存在する画素の属性及び処理対象画素との連続性に基づいて、画素の属性を補正するようにしたので、画像オブジェクトの境界部分も精度よく領域を判別することができる。例えば、後述する図６（ｂ）に示すように、領域Ｒ８４は、領域８５と連続しているため、図６（ｃ）に示すような領域８６に補正される。
【００２１】
また、請求項４記載のように、請求項２又は３記載の画像処理装置において、前記領域判別部は更に、孤立領域の画素数及び所定の閾値に基づいて、前記属性特定部により特定された前記対象画素の属性を補正する第２の属性補正部を有すること特徴とする。請求項４記載の発明によれば、孤立領域の画素数及び所定の閾値に基づいて、属性特定部により特定された処理対象画素の属性を補正するようにしたので、画像オブジェクトの境界部分も精度よく領域確定することができる。例えば、後述する図６（ｃ）に示すように、孤立領域Ｒ８１、Ｒ８３の画素数が所定の閾値以上の場合には、図６（ｄ）に示すように領域Ｒ８８に補正される。
【００２２】
また、請求項５記載のように、請求項２から５のいずれか一項に記載の画像処理装置において、前記領域判別部は更に、前記入力画像を所定の画像オブジェクトの領域に仮設定する仮領域設定部を有し、前記出現度合い算出部は、該仮領域設定部により仮設定された前記所定の画像オブジェクトの領域内に含まれる画素の画素値の出現度合いを算出することを特徴とする。
【００２３】
請求項５記載の発明によれば、入力画像を所定の領域、例えば、グラフィックス画像の領域に仮設定して、仮設定された領域について、画素値の出現度合いを算出する。例えば、グラフィックス画像オブジェクトは使用画素値や使用色が少ないため、画像処理装置の処理量を少なくすることができる。
【００２４】
また、請求項６記載のように、請求項５記載の画像処理装置において、前記仮領域設定部は、所定の特徴量をもつ領域を前記所定の画像オブジェクトの領域に仮設定することを特徴とする。請求項６記載の発明によれば、所定の特徴量をもつ領域、例えば、均一な色で構成された領域、画素値が何らかの周期性を持つ領域、又は画素値が何からの変化を持つ領域を所定の画像オブジェクトの領域に仮設定することができる。
【００２５】
また、請求項７記載のように、請求項５記載の画像処理装置において、前記仮領域設定部は、同じ画素値を持つ画素が連続する領域を前記所定の画像オブジェクトの領域に仮設定することを特徴とする。請求項７記載の発明によれば、同じ画素値を持つ画素が連続する領域を所定の画像オブジェクトの領域に仮設定しているので、画素値の均一性に基づいて、領域を仮設定することができる。
【００２６】
また、請求項８記載のように、請求項５記載の画像処理装置において、前記仮領域設定部は、画素値が周期的に変化する領域、又は画素値が一定の変化を持つ領域を前記所定の画像オブジェクトの領域に仮設定することを特徴とする。請求項８記載の発明によれば、画素値が周期的に変化する領域、又は画素値が一定の変化を持つ領域を所定の画像オブジェクトの領域に仮設定することができる。
【００２７】
また、請求項９記載のように、請求項５から８のいずれか一項に記載の画像処理装置において、前記出現度合い算出部は、前記仮領域設定部により前記所定画像オブジェクトの領域に仮設定された領域以外の領域に含まれる画素値の出現度合いを算出することを特徴とする。請求項９記載の発明によれば、出現度合い算出部は、仮領域設定部により、所定の画像オブジェクトの領域、例えば写真画像オブジェクトの領域に仮設定された領域以外の領域、例えばグラフィックス画像オブジェクトの領域に含まれる画素値の出現度合いを算出するようにしたので、画像処理装置における処理量を少なくすることができる。
【００２８】
また、請求項１０記載の画像処理装置は、請求項１から９にいずれか一項に記載の画像処理装置において、更に、前記領域判別部により領域判別された結果を外部に出力する判別結果出力部を有することを特徴とする。
【００２９】
請求項１０記載の発明によれば、領域判別部の判別結果を、外部、例えばディスプレイ装置やプリンタ装置に出力するようにしたので、自動処理により画像を各領域に分離し、つづいてユーザは領域分離結果を確認し、領域分離結果の不都合の存在を確認することができるようにしている。これにより、確実に、画像オブジェクトの領域を確定することができる。また、画像オブジェクトと境界部分や複雑に入り組んだ部分などの個々の画素についても、自動処理の結果を出力できるようにしているので、誤判定が発生しやすい境界部分や複雑に入り組んだ部分なども精度よく領域を確定できる。
【００３０】
また、請求項１１記載の画像処理装置は、請求項１から１０のいずれか一項に記載の画像処理装置において、更に、前記領域判別部により領域判別された結果を修正する領域修正部を有することを特徴とする。
【００３１】
請求項１１記載の発明によれば、領域修正部により、領域判別部の判別結果の修正することができるようにしたので、自動処理により画像を各領域に分離し、つづいて領域分離結果を確認し、領域分離結果に不都合が存在する場合には、領域分離結果に修正を加えるようにしているので、複数の画像オブジェクトが混在した画像であっても、簡単かつ確実に、画像オブジェクトの領域を確定することができる。また、画像オブジェクトの境界部分や複雑に入り組んだ部分などの個々の画素についても、自動処理の結果を確認して、修正することが可能になるので、誤判定が発生しやすい境界部分や複雑に入り組んだ部分なども精度よく領域を確定できる。
【００３２】
また、請求項１２記載の画像処理装置は、請求項１から１１のいずれか一項に記載の画像処理装置において、更に、前記領域判別部により領域判別された画像に対し新規に画像オブジェクトの領域を設定する領域設定部を有することを特徴とする。
【００３３】
請求項１２記載の発明によれば、領域判別部により領域判別された画像に対し新規に画像オブジェクトの領域を設定できるようにしたので、自動処理により画像を領域に分離し、つづいて領域分離結果を確認し、領域分離結果に不都合が存在する場合には、入力画像に新規に領域を設定できるようにしているので、複数の画像オブジェクトが混在した画像であっても、簡単かつ確実に、画像オブジェクトの領域を確定することができる。また、誤判定が発生しやすい境界部分や複雑に入り組んだ部分なども精度よく領域確定することができる。
【００３４】
また、請求項１３記載の画像処理装置は、請求項１から１２のいずれか一項に記載の画像処理装置において、更に、前記領域判別部、前記領域修正部、又は前記領域設定部からの結果の中からいずれかの結果を選択する分離結果選択部を有することを特徴とする。
【００３５】
請求項１３記載の発明によれば、分離結果選択部により、領域判別部、領域修正部、又は領域設定部からの結果の中からいずれかの結果を選択できるようにしたので、自動処理により画像を領域に分離し、つづいて領域分離結果を確認し、領域分離結果に不都合が存在する場合には、領域分離結果に修正を修正を加える、あるいは、入力画像に新規に領域を設定して、領域分離結果あるいは修正結果あるいは新規領域設定結果を領域分離結果としてとしているので、複数の画像オブジェクトが混在した画像であっても、簡単かつ確実に、画像オブジェクトの領域を確定することができる。
【００３６】
また、請求項１４記載のように、請求項１から１３のいずれか一項に記載の画像処理装置において、前記画像オブジェクトは、撮影装置により撮影された写真画像オブジェクト又はグラフィックス処理により生成されたグラフィック画像オブジェクトであることを特徴とする。
【００３７】
請求項１４記載の発明によれば、グラフィックス画像オブジェクトと写真画像オブジェクトなどのように、何れも階調画像を表す絵画像であっても、画像オブジェクトの領域を判別できる。グラフィックス処理としての使用可能色数が、６４万色あるいはそれ以上であって略写真画像並の再現性を有していたとしても、グラフィクス画像オブジェクトのそれぞれは通常使用色数が少ないこれに対して、撮影画像オブジェクトは、使用画素値や使用色が多くなる。したがって、画像を表す個々の画素の画素値の使用度合いを参照することで、画像オブジェクトが、例えば、写真画像オブジェクトおよびグラフィクス画像オブジェクトの何れであるかを判別できる。
【００３８】
また、請求項１５記載の画像処理方法は、複数の種類の画像オブジェクトで構成される画像を入力する画像入力段階と、該画像入力段階により入力された入力画像を構成する画素の画素値の出現度合いに基づいて、前記画像オブジェクトの領域を判別する領域判別段階と、該領域判別段階により判別された各画像オブジェクトの領域に応じて前記入力画像を処理する段階とを有することを特徴とする。
【００３９】
請求項１５記載の発明によれば、入力された入力画像を構成する画素の画素値の出現度合いに基づいて、画像オブジェクトの領域を判別して、判別された各画像オブジェクトの領域に応じて入力画像を処理するようにしたので、例えば、グラフィックス処理により生成されたグラフィックス画像オブジェクトと撮影装置により撮影された写真画像オブジェクトなどのように、何れも階調画像を表す絵画像であっても、画像オブジェクトの領域を判別できる。これにより、各画像オブジェクトの領域に応じて独立のパラメータを用いて画像処理を行うことができる。
【００４０】
また、請求項１６記載のように、請求項１５記載の画像処理方法において、前記領域判別段階は更に、前記画素値の出現度合いを算出する出現度合い算出段階と、該出現度合い算出段階により算出された前記画素値の出現度合い及び所定の閾値に基づいて、前記入力画像に使用される使用色を特定する使用色特定段階と、該使用色特定段階により特定された該使用色に基づいて、前記入力画像に含まれる処理対象画素の属性を特定する属性特定段階と、を有することを特徴とする。
【００４１】
請求項１６記載の発明によれば、画素値の出現度合い及び所定の閾値に基づいて、入力画像に使用される使用色を特定し、特定した使用色に基づいて、入力画像に含まれる画素の属性を特定するようにしたので、例えば、比較的使用色の少ないグラフィックス画像オブジェクトと、比較的使用色の多い写真画像オブジェクトとを判別することができ、何れも階調画像を表す絵画像であっても、画像オブジェクトの領域を判別できる。これにより、各画像オブジェクトの領域に応じて独立のパラメータを用いて画像処理を行うことができる。
【００４２】
また、請求項１７記載のように、請求項１６記載の画像処理方法において、前記領域判別段階は更に、前記処理対象画素の近傍に存在する近傍画素の属性及び該近傍画素と前記処理対象画素との連続性に基づいて、前記属性特定段階により特定された前記処理対象画素の属性を補正する第１の属性補正段階を有することを特徴とする。請求項１７記載の発明によれば、処理対象画素の近傍に存在する画素の属性及び処理対象画素との連続性に基づいて、処理対象画素の属性を補正するようにしたので、画像オブジェクトの境界部分も精度よく領域を判別することができる。
【００４３】
また、請求項１８記載のように、請求項１６又は１７記載の画像処理方法において、前記領域判別段階は更に、孤立領域の画素数及び所定の閾値に基づいて、前記属性特定段階により特定された前記処理対象画素の属性を補正する第２の属性補正段階を有すること特徴とする。請求項１８記載の発明によれば、孤立領域の画素数及び所定の閾値に基づいて、属性特定段階により特定された画素の属性を補正するようにしたので、画像オブジェクトの境界部分も精度よく領域確定することができる。
【００４４】
また、請求項１９記載のように、請求項１６から１８のいずれか一項に記載の画像処理方法において、前記領域判別部は更に、前記入力画像を所定の画像オブジェクトの領域に仮設定する仮領域設定段階を有し、前記出現度合い算出段階は、該仮領域設定段階により仮設定された前記所定の画像オブジェクトの領域内に含まれる画素値の出現度合いを算出することを特徴とする。請求項１９記載の発明によれば、入力画像を所定の画像オブジェクトの領域、例えば、グラフィックス画像の領域に仮設定して、仮設定された領域について、画素値の出現度合いを算出する。例えば、グラフィックス画像オブジェクトは使用画素値や使用色が少ないため、画像処理装置の処理量を少なくすることができる。
【００４５】
また、請求項２０記載の画像処理プログラムは、入力画像を処理するためにコンピュータを、複数の種類の画像オブジェクトで構成される画像を入力する画像入力手段、該画像入力手段により入力された入力画像を構成する画素の画素値の出現度合いに基づいて、前記画像オブジェクトの領域を判別する領域判別手段、該領域判別手段により判別された各画像オブジェクトの領域に応じて前記入力画像を処理する手段として機能させる。
【００４６】
請求項２０記載の発明によれば、入力された入力画像を構成する画素の画素値の出現度合いに基づいて、画像オブジェクトの領域を判別して、判別された各画像オブジェクトの領域に応じて入力画像を処理するようにしたので、例えば、グラフィックス処理により生成されたグラフィックス画像オブジェクトと撮影装置により撮影された写真画像オブジェクトなどのように、何れも階調画像を表す絵画像であっても、画像オブジェクトの領域を判別できる。これにより、各画像オブジェクトの領域に応じて独立のパラメータを用いて画像処理を行うことができる。
【００４７】
また、請求項２１記載のように、請求項２０記載の画像処理プログラムにおいて、前記領域判別段階は更に、前記画素値の出現度合いを算出する出現度合い算出手段と、該出現度合い算出手段により算出された前記画素値の出現度合い及び所定の閾値に基づいて、前記入力画像に使用される使用色を特定する使用色特定手段と、該使用色特定手段により特定された該使用色に基づいて、前記入力画像に含まれる処理対象画素の属性を特定する属性特定手段と、を有することを特徴とする。
【００４８】
請求項２１記載の発明によれば、画素値の出現度合い及び所定の閾値に基づいて、入力画像に使用される使用色を特定し、特定した使用色に基づいて、入力画像に含まれる画素の属性を特定するようにしたので、例えば、比較的使用色の少ないグラフィックス画像オブジェクトと、比較的使用色の多い写真画像オブジェクトとを判別することができ、何れも階調画像を表す絵画像であっても、画像オブジェクトの領域を判別できる。これにより、各画像オブジェクトの領域に応じて独立のパラメータを用いて画像処理を行うことができる。
【００４９】
また、請求項２２記載のように、請求項２１記載の画像処理プログラムにおいて、前記領域判別手段は更に、前記処理対象画素の近傍に存在する近傍画素の属性、及び該近傍画素と前記処理対象画素との連続性に基づいて、前記属性特定手段により特定された前記処理対象画素の属性を補正する第１の属性補正手段を有することを特徴とする。請求項２２記載の発明によれば、処理対象画素の近傍に存在する画素の属性、及び処理対象画素との連続性に基づいて、処理対象画素の属性を補正するようにしたので、画像オブジェクトの境界部分も精度よく領域を判別することができる。
【００５０】
また、請求項２３記載のように、請求項２１又は２２記載の画像処理プログラムにおいて、前記領域判別手段は更に、孤立領域の画素数及び所定の閾値に基づいて、前記属性特定手段により特定された前記処理対象画素の属性を補正する第２の属性補正手段を有すること特徴とする。請求項２３記載の発明によれば、孤立領域の画素数及び所定の閾値に基づいて、属性特定段階により特定された処理対象画素の属性を補正するようにしたので、画像オブジェクトの境界部分も精度よく領域確定することができる。
【００５１】
また、請求項２４記載のように、請求項２１から２３のいずれか一項に記載の画像処理プログラムにおいて、前記領域判別手段は更に、前記入力画像を所定の画像オブジェクトの領域に仮設定する仮領域設定手段を有し、前記出現度合い算出手段は、該仮領域設定段階により仮設定された前記所定の画像オブジェクトの領域内に含まれる画素値の出現度合いを算出することを特徴とする。
【００５２】
請求項２４記載の発明によれば、入力画像を所定の画像オブジェクトの領域、例えば、グラフィックス画像の領域に仮設定して、仮設定された領域について、画素値の出現度合いを算出する。例えば、グラフィックス画像オブジェクトは使用画素値や使用色が少ないため、画像処理装置の処理量を少なくすることができる。
【００５３】
【発明の実施の形態】
（第１の実施の形態）
以下、図面を参照して本発明の実施の形態について詳細に説明する。まず、本実施の形態に係る画像処理装置を利用するラボを備えたネットワークフォトサービスシステムについて説明する。図１は、本実施の形態に係る画像処理装置を利用するラボを備えたネットワークフォトサービスシステムの一例を示す図である。このネットワークフォトサービスシステム（以下単にフォトシステムともいう）３００は、顧客３０１と、注文を受け付けるサービスセンタ３０２と、ミニラボ３０３と、特殊設備を備える特殊ラボ３０４とを有する。
【００５４】
これらは、全てインターネットなどのネットワーク３０５を介して通信できるようになっている。また、サービスセンタ３０２や特殊ラボ３０４は特に多くの通信を行う必要があるため、高速回線を使用するようにして、より多くの注文を迅速に処理できるようにしている。また、ミニラボ３０３及び特殊ラボ３０４は、本実施の形態に係る画像処理装置１を備える。
【００５５】
本実施の形態では、撮影により得られた撮影画像を表すデジタル画像データの入力は、ミニラボ３０３において行なわれる。顧客３０１がミニラボ３０３に同時プリントを依頼すると、ミニラボ３０３では、スキャナ３０７によりフィルムを読み取り、プリンタ３０９により同時プリントを作成する。スキャナ３０７により読み取られたデジタル画像データは、同時プリント作成後もラボサーバ３０８に保管される。
【００５６】
また、この際、それらのデジタル画像データの解像度を落とした低解像度画像データ（たとえばサムネイル画像）が作成され、サービスセンタ３０２のセンタサーバ３１２に転送される。また、ラボサーバ３０８は、顧客３０１のデジタル画像データのみならずテンプレートも保管する。
【００５７】
サービスセンタ３０２のセンタサーバ３１２は、各ラボ３０３、３０４から転送されたサムネイル画像をそのサムネイル画像が送られてきたラボ３０３、３０４と対応づけて保管するとともに、そのサムネイル画像をネットワーク３０５上でアクセスできるようにしている。また、センタサーバ３１２は、ラボサーバ３０８が保管しているテンプレートのサムネイルも保管しており、顧客がネットワークを介してアクセスできるようにしている。
【００５８】
デジタル画像データをアクセス可能にするにあたっては、顧客３０１は自分の写真のみ確認できればよいため、パスワードによる認証を行って各顧客３０１のみが見ることができるデータを制限する。パスワードは、たとえば同時プリントの申し込み時に顧客からの指定により、あるいはミニラボ側で適当なパスワードを割り当てることにより決定する。
【００５９】
センタサーバ３１２へのアクセスは、インターネットの場合には上記サービスをホームページの形態で提供し、顧客が所定のＷｅｂブラウザを利用してアクセスするようにする。また、その他の独自の通信サービスとして提供する場合には、顧客に専用ソフトウェアを配布するなどして行ってもよい。
【００６０】
何れの場合も、顧客３０１は自宅あるいはオフィスのパーソナルコンピュータ（以下、パソコンという）３０６から、ネットワーク３０５を介してセンタサーバ３１２に保管されている自分の写真のサムネイル画像を確認したり、サービスセンタ３０２が提供するテンプレートを選択したりして、写真画像とテンプレートとを合成して、たとえばポストカードなどの注文画像を生成し、さらに注文画面に対して所定の入力をすることにより、あるいは所定のフォーマットの注文データを作成して電子メールでセンタサーバ３１２宛に送信することにより、ミニラボ３０３に出向かずに、たとえばプリント出力サービスを要求することができる。
【００６１】
センタサーバ３１２は、注文データを受信すると、プリント出力先を振り分ける。たとえば、特殊な設備を必要とする処理の場合にはプリント出力先として特殊ラボ３０４を選択し、注文データに基づいて所定のフォーマットの指示情報を作成して、デジタル画像データが保管されているラボを示す情報も指示情報に含め、特殊ラボ３０４のラボサーバ３０８に転送する。
【００６２】
一方、たとえば普通の焼増しプリントなどが要求された場合など特殊な設備を必要としないときには、たとえばシステムとして最も効率のよいラボ、すなわちプリントが要求された写真のプリント出力用の高解像度画像データが保管されているラボ（店頭受け取りを希望していない場合）、あるいは受取希望ラボをプリント出力先として選択する。指示情報を受信したラボサーバ３０８は、指示情報に含まれる注文内容に従って焼増しプリント出力などの処理を行い、顧客３０１への受け渡しや郵送手配などを行う。
【００６３】
図２は、顧客３０１側にて、写真入りポストカード画像を合成して注文するときの概念図である。顧客３０１のパソコン３０６には、フォトシステム３００を利用するための専用プログラムが組み込まれる。たとえば、Ｗｅｂブラウザを組み込み、そのブラウザのプラグインとして注文処理を行うプログラムを提供する。また、注文処理の一部を行う機能のみをプラグインとして組み込み、その他の機能をブラウザとは独立したアプリケーションソフトとして組み込むようにしてもよい。
【００６４】
また、パソコン３０６は、周辺機器や外部インタフェースとして、現像済フィルム４０２を読み取るためのフィルムスキャナ（図示省略）、デジタルカメラ４０３のメモリカードを読み取るためのカードリーダ、又はデジタルカメラ４０３に直接接続するためのケーブルインタフェースなどを備えている。また、ＦＤ（フレキシブルディスク）、ＣＤ−Ｒ（ＣＤ−Ｒｅｃｏｒｄａｂｌｅ）、Ｚｉｐなどのメディアドライブを内蔵、又は外付けにより備えている。
【００６５】
顧客３０１は、サービスセンタ３０２や画像編集アプリケーションソフトなどから提供されるテンプレート画像、ロゴ、クリップアートなどを表すＣＧ画像を利用して、合成画像を生成する。たとえば、ラボサーバ３０８には顧客３０１が予め撮影しておいた写真の高解像度画像データＤ２１と、サービスセンタ３０２が提供する高解像度ＣＧ画像が保管されている。また、センタサーバ３１２には高解像度ＣＧ画像に対応する低解像度ＣＧ画像が保管されているが、これはラボにおいて新しいテンプレートが作成される度にセンタサーバ３１２に登録されるものである。
【００６６】
一方、高解像度画像データＤ２１に対応する低解像度画像データＤ２２もまた、顧客３０１の要求に応じてセンタサーバ３１２に登録される。顧客３０１は、デジタルカメラ４０３で撮影した、サービスセンタ３０２に未登録の写真画像を使用することもできる。
【００６７】
顧客３０１は、たとえばセンタサーバ３１２上で公開された写真画像を表す低解像度画像データＤ２２や、テンプレート画像Ｄ４７、ロゴＤ４８、クリップアート（イラスト）Ｄ４９などを表す低解像度ＣＧ画像をネットワーク３０５を介してセンタサーバ３１２からパソコン３０６に取り込む（必要に応じてダウンロードも可能）。
【００６８】
次に、パソコン３０６の端末画面上で、編集加工ソフトウェアなどを利用して写真画像とＣＧ画像とを合成したりテキスト文字を追加するなどの加工を施すことにより、写真画像とテンプレート、ロゴ、又はクリップアートなどのＣＧ画像が合成された写真入りポストカード画像Ｄ４０（ＣＧ／写真混在画像・加工済画像）を生成する。合成確認指令が顧客３０１からセンタサーバ３１２に送信されると、高解像度画像データＤ２１や高解像度ＣＧ画像を用いた写真入りポストカード画像（以下合成画像ともいう）Ｄ４０の最終確認画像がパソコン３０６の端末画面に提示される。
【００６９】
また、顧客３０１は、たとえば現像済フィルム４０２をフィルムスキャナで読み取ったデジタル画像、又はデジタルカメラ４０３で撮影されメモリカードに記録されたデジタル画像など、サービスセンタ３０２に未登録の写真画像を取り込み、画像編集アプリケーションソフトなどから提供されるテンプレート画像Ｄ４７、ロゴＤ４８、クリップアートＤ４９などのＣＧ画像を利用して写真入りポストカード画像Ｄ４０を合成する。
【００７０】
写真入りポストカード画像Ｄ４０の合成が完了したら、その合成画像Ｄ４０と注文データなどを対応付けてセンタサーバ３１２にアップロードする。センタサーバ３１２は、ユーザからの注文を受け取ると、所定のラボに合成画像Ｄ４０および注文データを対応付けて、プリント出力指令を発する。
【００７１】
なお、顧客３０１は、写真画像とテンプレートやクリップアートなどのＣＧ画像が合成された合成画像Ｄ４０と注文データとを対応付けて、ＦＤやＭＯ（ＭａｇｎｅｔｏＯｐｔｉｃａｌＤｉｓｋ）などの記憶媒体４０４に記録して、記憶媒体４０４を写真受取窓口などに持ち込んでもよい。この場合、写真受取窓口などでは、受け取った記憶媒体４０４を所定のラボに配送し、又は写真受取窓口に設けられた読取装置で読み取った合成画像Ｄ４０および注文データを転送することで、所定のラボにてプリント出力できるようにする。
【００７２】
図３は、上述のようにして生成された写真入りポストカード画像Ｄ４０の一例を示す図である。合成画像（写真入りポストカード）Ｄ４０ａは、写真画像を表すデジタル画像Ｄ２１、Ｄ２２と、ロゴＤ４８やクリップアートＤ４９などのＣＧ画像とはそれぞれ別の場所にレイアウトされ、写真部分とＣＧ画像部分とが明確に分かれている。
【００７３】
このため、たとえば、文字／絵柄（網点や写真を含む）を分離する特開平７−０９９５８１号公報に記載の方法、ブロック分割→ＤＣＴ低周波成分の絶対値和を閾値と比較により、文字／写真を分離する特開平７−０７４９６６号公報や特開平７−０３８７６１号公報に記載の方法、又はブロック分割→エッジ判定→限定色存在判定により文字／写真を分離する特開平５−３２８１４３号公報に記載の方法など、文字部分と絵画像とを自動判別する手法を採用することにより、写真画像とＣＧ画像との領域を切り分けることはでき得る。また、端末画面を確認しながら手作業でＣＧ画像と写真画像とを切り分けることも比較的簡単である。
【００７４】
しかしながら、合成画像Ｄ４０ｂは、デジタル画像（写真画像）Ｄ２１、Ｄ２２とロゴ（ＣＧ画像）Ｄ４８とが重なっているので、前述の文字部分と絵画像とを自動判別する手法を採用したのでは、ロゴ部分と写真部分とを自動的に切り分ける（領域判別）することはできない。また、端末画面を確認しながら手作業で行う場合には、写真部分とロゴ部分との境界（輪郭）をなぞって写真部分とロゴ部分を特定しなければならず、その作業が非常に大変である。また、図示していないが、イラストが全面に描かれたテンプレート上に写真が嵌め込まれ、さらにイラストと写真との境界部に別の微小イラストが重ねられた画像の場合には、一層その分別が難しくなる。
【００７５】
本実施の形態に係る画像処理装置１は、たとえば前述のような合成画像Ｄ４０ｂのように、グラフィックス処理で人工的に生成されたＣＧ画像とカメラなどで撮影された撮影画像とが混在した画像であっても、自動的かつ間単に、ＣＧ画像部分や撮影画像部分の領域を確定できる。従って、ＣＧ画像と撮影画像とに対して、それぞれ独立のパラメータで画像処理することが簡単にできる。
【００７６】
次に、本実施の形態に係る画像処理装置１について具体的に説明する。図４は、ラボ３０３、３０４側に設けた画像処理装置のブロック図である。図４に示すように、画像処理装置１は、画像入力部３と、領域判別部５と、分離結果出力部７とを備える。
【００７７】
画像入力部３は、複数の種類の画像オブジェクトで構成される画像を入力する。領域判別部５は、画像入力部３から入力された入力画像を構成する画素の画素値の出現度合いに基づいて、入力画像を構成する各画素の属性を判定することで画像オブジェクトの領域を判別する。分離結果出力部７は、領域判別部５により判別された画像オブジェクトの領域を示す情報を出力する。なお、図示は省略するが、画像処理装置１は、領域判別部５により判別された各画像オブジェクトの領域に応じて入力画像を処理する手段を備えている。
【００７８】
詳細には、領域判別部５は、処理対象の画素の画素値、処理対象の画素の周辺に存在する画素（近傍画素）の画素値、及びそれぞれの連続性に基づいて、処理対象の画素が、自然画像をほぼ再現可能な処理により生成された、すなわちカメラなどにより撮影された撮影画像の一例である写真画像オブジェクト、又はグラフィクス処理により人工的に生成されたグラフィクス画像オブジェクトのうちの何れに属するのかを表す属性を判定することで前記２種類の画像オブジェクトの領域を判別する。
【００７９】
このため、領域判別部５は、仮領域設定部１０と、領域特定部３０と、領域補正部５０とを備える。仮領域設定部１０は、コンピュータグラフィックス（ＣＧ）処理にて作成されたＣＧ領域や、カメラなどにより撮影された撮影画像が張り込まれた写真領域などを仮設定する。
【００８０】
領域特定部３０は、仮領域設定部１０で設定された領域で使用されている画素値及びその画素値の使用頻度に基づいて、ＣＧ色を抽出し、抽出されたＣＧ色の画素値と同じか否かに基づいて、画素の属性を判定することでＣＧ／写真の領域を特定する。領域補正部５０は、領域特定部３０により判定された各画素の属性をその連続の度合いに基づいて補正する。
【００８１】
なお、ここで、「画素の属性を判定する」とは、自然画像を実質的に再現可能な処理により生成された写真画像オブジェクト、あるいは自然画像を実質的に再現可能な処理において使用し得る画素値の数よりも少ない数の画素値を使用したＣＧ処理により生成されたグラフィクス画像オブジェクトのうちの何れに属するのかを判定するという意味である。
【００８２】
また、仮領域設定部１０は、仮ＣＧ領域設定部１１と、仮写真領域設定部１２とを備える。仮ＣＧ領域設定部１１は、ＣＧ領域を仮設定する。仮写真領域設定部１２は、写真領域などを仮設定する。次に、図５を用いて、仮領域設定部１０、仮ＣＧ領域設定部１１及び仮写真領域設定部１２について、詳細に説明する。
【００８３】
仮領域設定部１０は、入力画像の所定領域を所定の画像オブジェクトの領域に仮設定する。また、仮領域設定部１０は、図５（ａ）に示すような合成画像（写真入りポストカード）Ｄ４０ｂを、非図示のディスプレイなどに表示する。
図５（ａ）に示すように、合成画像（写真入りポストカード）Ｄ４０ｂは、領域判別をおこなう画像であり、ＣＧ領域であるクリップアートＤ４５、Ｄ４６、Ｄ４９、ロゴＤ４８、追加テキストＤ４４、及び写真領域であるデジタル画像（写真画像）Ｄ２２を含んでいる。
【００８４】
ここで、追加テキストＤ４４は、人工的に作成されたものであるのでＣＧ領域に分離するのが望ましい。また、クリップアートＤ４５、Ｄ４６は、テンプレート画像Ｄ４７（図２参照）に含まれているものであり、これもＣＧ領域に分離するのが望ましい。
【００８５】
仮ＣＧ領域設定部１１は、まず画像全体を一旦仮ＣＧ設定領域にする。次に、ユーザは、合成画像Ｄ４０ｂが表示されたディスプレイに対し、非図示のマウスなどのポインティングデバイスなどで写真の領域を指示する。仮写真領域設定部１２は、写真領域と指示された領域を仮写真設定領域にする。その結果、図５（ｂ）に示すように、全体の仮ＣＧ設定領域Ｒ６１の内部に仮写真設定領域Ｒ６２が存在する様に領域が設定される。なお、上記で写真領域を指示する際には、領域の境界を厳密に指示する必要は無く、写真領域を含むように大まかに指示すればよい。次に、ユーザは、合成画像Ｄ４０ｂが表示されたディスプレイに対し、図５（ｃ）に示すように、上記で仮写真設定領域Ｒ６２と設定された領域に含まれるＣＧ領域を指示する。
【００８６】
仮ＣＧ領域設定部１１は、ＣＧ領域と指示された領域を仮ＣＧ設定領域にする。ここでもＣＧ領域を指示する際には、領域の境界を厳密に指示する必要は無く、ＣＧ領域の内部を大まかに指示すればよい。この結果、仮領域設定部１０では、図５（ｄ）に示すように、画像全体が仮ＣＧ設定領域Ｒ６１で、仮ＣＧ設定領域Ｒ６１に含まれるように仮写真設定領域Ｒ６２が存在し、さらに仮写真設定領域Ｒ６２に含まれるように仮ＣＧ設定領域Ｒ６３が存在するように、領域が仮設定される。
【００８７】
次に、領域特定部３０について説明する。領域特定部３０は、出現度合い算出部３１と、頻度閾値設定部３２と、領域使用色特定部３３と、属性特定部３４とを有する。出現度合い算出部３１は、仮領域設定部１０にて仮設定された所定の画像オブジェクトの領域に含まれる各画素の画素値および画素値の出現度合い（頻度）を算出する。
【００８８】
詳細には、出現度合い算出部３１は、画像入力部３から入力される入力画像を用いて、仮領域設定部１０において仮ＣＧ設定領域と設定された領域に含まれる画素値の出現度合い（頻度）を求め、ヒストグラムを作成する。例えば、入力される画像がＲＧＢ表色系、各成分８ｂｉｔで表された画像であった場合、Ｒ・Ｇ・Ｂ各軸が０から２５５の値を持つ３次元ヒストグラムが生成される。
【００８９】
なお、入力される画像データには制限がなく、どのようなものであってもよい。たとえばＲＧＢ表色系、Ｌ＊ａ＊ｂ＊表色系、Ｌ＊ｕ＊ｖ＊表色系などの何れのデータであってもよい。また、本実施の形態が取り扱い得る画像は、カラー画像に限らず、白黒などのモノクロ画像（単色画像）であってもよい。また、カラーデータを輝度や濃度を示すモノクロデータに変換して使用してもよい。
【００９０】
また、出現度合い算出部３１は、仮領域設定部１０により、所定の画像オブジェクトの領域、例えば写真画像オブジェクトの領域に仮設定された領域以外の領域、例えばグラフィックス画像オブジェクトの領域に含まれる画素値の出現度合いを算出するようにしてもよい。これにより、画像処理装置における処理量を少なくすることができる。
【００９１】
頻度閾値設定部３２は、判定基準のための閾値ＴＨ０を設定する。詳細には、頻度閾値設定部３２は、あらかじめ定められたＣＧ色判定用の閾値ＴＨ０、入力画像サイズに応じて可変のＣＧ色判定用の閾値ＴＨ０、又は仮領域設定部１０にて仮設定された領域サイズに応じて可変のＣＧ色判定用の閾値ＴＨ０を、領域使用色特定部３３に設定する。
【００９２】
領域使用色特定部３３は、頻度閾値設定部３２により設定された所定の閾値ＴＨ０と、出現度合い算出部３１により算出された各画素値の出現度合いに基づいて入力画像に含まれる各領域の使用色を特定したり、入力画像に使用される使用色を特定する。詳細には、領域使用色特定部３３は、出現度合い算出部３１で作成されたヒストグラムを基に、頻度閾値設定部３２によって設定されたＣＧ色判定用の閾値ＴＨ０を用いてＣＧ色を判定する。すなわち、ヒストグラム上の頻度がＴＨ０以上である色（画素値）をＣＧ色と判定する。
【００９３】
属性特定部３４は、領域使用色特定部３３により特定された使用色に基づいて、入力画像を構成する処理対象画素の属性を特定する。詳細には、属性特定部３４は、仮領域設定部１０で仮設定された領域の画素属性、及び領域使用色特定部３３で特定された色を用いて、入力画像に含まれる全画素の属性を特定する。例えば、仮領域設定部１０において、仮ＣＧ設定領域に仮設定された領域に含まれる画素の属性は、全て確定ＣＧ画素とする。
【００９４】
また、仮写真設定領域に含まれる画素で、その色（画素値）が領域使用色特定部３３においてＣＧ色と判定された色と同一色又は近似色であれば、その画素属性を仮ＣＧ画素とする。上記以外の画素の属性は、仮写真画素とする。たとえば、ＲＧＢ表色系のデータを用いるときには、対象画素のＲ、Ｇ、Ｂの各値と同じもの又は近似しているものが、ＣＧ色と判定された色の中にあるかどうかを判断して処理対象画素の属性を判定する。
【００９５】
たとえば、入力画像がＲＧＢ表色系で表されているときには、たとえばＲ＝１００、Ｇ＝１００、Ｂ＝１００である画素とＲ＝１００、Ｇ＝１００、Ｂ＝１０１である画素とは色が異なるというように、Ｒ、Ｇ、Ｂの各画素値が１つでも異なるときには同一色ではないとする。また、Ｃ１＝（Ｒ１、Ｇ１、Ｂ１）とＣ２＝（Ｒ２、Ｇ２、Ｂ２）の近似色か否かの判定は、例えばＣ１とＣ２の距離を求め、その距離が所定の閾値未満の時、又は与えられた閾値未満の時は近似色であると判定する。一方、それ以上の時は近似色ではないと判定する。
【００９６】
上記距離としては、ユークリッド距離＝（（Ｒ１−Ｒ２）^２＋（Ｇ１−Ｇ２）^２＋（Ｂ１−Ｂ２）^２）^１／２や、シティブロック距離＝｜Ｒ１−Ｒ２｜＋｜Ｇ１−Ｇ２｜＋｜Ｂ１−Ｂ２｜などがある。又は、｜Ｒ１−Ｒ２｜＜ＴＨ１０かつ｜Ｇ１−Ｇ２｜＜ＴＨ１１かつ｜Ｂ１−Ｂ２｜＜ＴＨ１２（ＴＨ１０・ＴＨ１１・Ｔｈ１２は所定のあるいは与えられた閾値）が成り立つ時は近似色とするなど色成分ごとの判定で近似色か否かを決定しても良い。
【００９７】
次に、領域補正部について説明する。領域補正部５０は、第１属性補正部５１と、孤立閾値設定部５２と、第２属性補正部５３とを有する。第１属性補正部５１は、前記領域特定部３０において属性が特定された各画素に対して、その属性を補正する。孤立閾値設定部５２は、画素属性補正基準のための閾値ＴＨ１・ＴＨ２を設定する。第２属性補正部５３は、第１属性補正部５１においてその属性が第１次補正された各画素に対して、閾値ＴＨ１・ＴＨ２に基づきさらにその属性を補正する。
【００９８】
次に、図６を用いて、領域補正部５０、第１属性補正部５１、孤立閾値設定部５２および第２属性補正部５３について、詳細に説明する。領域特定部３０において属性が特定された画像に対し、図６（ａ）中の領域Ｒ６９に相当する領域の画素属性を拡大した図の例を図６（ｂ）に示す。図６（ｂ）に示すように、領域特定部３０から領域補正部５０に入力される画素属性情報には、画素属性が仮ＣＧ画素と特定された領域Ｒ８１、Ｒ８４、仮写真画素と特定された領域Ｒ８２、Ｒ８３、確定ＣＧ画素と特定された領域Ｒ８５が含まれている。
【００９９】
第１属性補正部５１は、処理対象画素の近傍に存在する近傍画素の属性、及び近傍画素と処理対象画素との連続性（連結性）に基づいて、属性特定部３４により特定された処理対象画素の属性情報を補正する。例えば、確定ＣＧ画素に連結している仮ＣＧ画素群を確定ＣＧ画素に属性を変更する。
【０１００】
図６を例では、図６（ｂ）において、仮ＣＧ画素で形成されている領域Ｒ８４は、確定ＣＧ画素で形成されている領域Ｒ８５に連結しているため、属性情報を確定ＣＧ画素に変更する。その結果、図６（ｃ）に示すように、領域Ｒ８４と領域Ｒ８５をあわせた確定ＣＧ画素で形成される領域Ｒ８６が生成される。一方、同じ仮ＣＧ画素で形成されている領域Ｒ８１は、確定ＣＧ画素に連結していないため、属性情報は変更されない。
【０１０１】
孤立閾値設定部５２は、孤立している仮ＣＧ画素で形成されている領域の属性情報を変更するための孤立画素数に対する閾値ＴＨ１を、また孤立している仮写真画素で形成されている領域の属性情報を変更するための孤立画素数に対する閾値ＴＨ２を、第２属性補正部５３に設定する。
【０１０２】
第２属性補正部５３は、孤立領域の画素数及び所定の閾値に基づいて、属性特定部３４により特定された対象画素の属性情報を補正する。ここで、所定の閾値とは、孤立閾値設定部５２により設定された閾値ＴＨ１のことである。第２属性補正部５３は、仮ＣＧ画素で形成された１つの連続している領域の画素数が、閾値ＴＨ１未満の場合には、属性情報を確定写真画素に変更し、逆に閾値ＴＨ１以上の場合には、属性情報を確定ＣＧ画素に変更する。
【０１０３】
また、第２属性補正部５３は、仮写真画素で形成された１つの連続している領域の画素数が、閾値ＴＨ２未満の場合には、属性情報を確定ＣＧ画素に変更し、逆に閾値ＴＨ１以上の場合には、属性情報を確定写真画素に変更する。図６の例では、例えば閾値ＴＨ１＝５、閾値ＴＨ２＝５とすると、図６（ｃ）に示す仮ＣＧ画素で形成されている領域Ｒ８１は、画素数が４個で閾値ＴＨ１未満であるため、その属性情報が確定写真画素に変更される。また、仮写真画素で形成されている領域Ｒ８３は画素数が３個で閾値ＴＨ２未満のため、その属性情報が確定ＣＧ画素に変更される。
【０１０４】
一方、仮写真画素で形成されている領域Ｒ８２は、画素数が閾値ＴＨ２以上であるため、その属性情報が確定写真画素に変更される。その結果、図６（ｄ）に示すように、領域Ｒ８１と領域Ｒ８２をあわせた確定写真画素で形成される領域Ｒ８７が生成される。一方、領域Ｒ８３と領域Ｒ８６をあわせた確定ＣＧ画素で形成される領域Ｒ８８が生成される。第２属性補正部５３の結果は、領域補正部５０、すなわち領域判別部５での領域判別結果として分離結果出力部７に出力される。
【０１０５】
次に、本実施の形態に係る領域判別処理について説明する。図７は、第１実施形態の画像処理装置１における領域判別にかかる処理手順の概要を示すフローチャートである。まず、仮領域設定部１０は、入力画像に対して仮ＣＧ領域や仮写真領域を仮設定する（Ｓ１０１）。出現度合い算出部３１は、仮領域設定部１０が仮設定した仮ＣＧ領域の画素値の出現度合い（頻度）を求め、ヒストグラムを作成する（Ｓ１０２）。
【０１０６】
頻度閾値設定部３２は、ＣＧ色判定用の閾値ＴＨ０を領域使用色特定部３３に設定する（Ｓ１０３）。領域使用色特定部３３は、出現度合い算出部３１で作成されたヒストグラムの頻度と、閾値ＴＨ０を比較することによりＣＧ色を判定する（Ｓ１０４）。具体的には、領域使用色特定部３３は、閾値ＴＨ０を参照し、画素値の出現度合い＜閾値ＴＨ０ならば、非ＣＧ色と判定し、一方、画素値の出現度合い≧閾値ＴＨ０ならば、ＣＧ色と判定する。
【０１０７】
次に、属性特定部３４は、仮領域設定部１０によって設定された仮領域、および領域使用色特定部３３によって判定されたＣＧ色をもとに入力画像各画素の属性を特定する（Ｓ１０５）。具体的には、属性特定部３４は、仮ＣＧ領域の場合には確定ＧＧ画素へ、また、ＣＧ色と同一又は近似する場合には仮ＣＧ画素へ、それ以外である場合には、仮写真画素に特定する。
【０１０８】
第１属性補正部５１は、確定ＣＧ画素領域に連続した仮ＣＧ画素領域を確定ＣＧ画素領域に変更する（Ｓ１０６）。孤立閾値設定部５２は、画素属性補正用の閾値ＴＨ１・ＴＨ２を第２属性補正部５３に設定する（Ｓ１０７）。第２属性補正部５３は、閾値ＴＨ１・ＴＨ２を用いて孤立画素領域の属性を補正する（Ｓ１０８）。具体的には、第２属性補正部５３は、仮ＣＧ画素孤立領域の画素数＜閾値ＴＨ１の場合には、確定写真画素領域に補正し、仮ＣＧ画素孤立領域の画素数≧閾値ＴＨ１の場合には、確定ＣＧ画素領域に補正し、仮写真画素孤立領域の画素数＜閾値ＴＨ２の場合には、確定ＣＧ画素領域に補正し、仮写真画素孤立領域の画素数≧閾値ＴＨ２の場合には、確定写真画素領域に補正する。
【０１０９】
なお、第１実施形態の説明の中で、仮領域設定部１０に仮写真領域設定部１２を設けて仮写真領域を設定したが、仮写真領域設定部１２を無くし、仮ＣＧ領域設定部１１で設定した以外の領域を仮写真領域としても構わない。また同様に、仮領域設定部１０に仮ＣＧ領域設定部１２を設けて仮ＣＧ領域を設定したが、仮ＣＧ領域設定部１１を無くし、仮写真領域設定部１１で設定した以外の領域を仮ＣＧ領域としても構わない。
【０１１０】
このように第１実施形態の画像処理装置１によれば、画像を仮ＣＧ領域と仮写真領域に仮分離し、仮ＣＧ領域の色頻度からＣＧ色を特定し、この特定色からＣＧ画素を特定し、つづいて領域の連続性や孤立領域の画素数から補正して画素の属性を決定したので、分離結果出力部７から出力される情報に基づいて領域判別をすることにより、グラフィックス処理で人工的に生成されたグラフィクス画像オブジェクトとカメラで撮影された写真画像オブジェクトとが混在した画像であっても、簡単に、グラフィクス画像オブジェクトと写真画像オブジェクトの領域を確定することができる。
【０１１１】
また、グラフィクス画像オブジェクトと写真画像オブジェクトとの境界部分の個々の画素については、上記したように領域の連続性や孤立領域の画素数から補正して画素の属性を決定するようにしたので、境界部分も精度よく領域確定することができる。
【０１１２】
（第２の実施の形態）
次に、第２の実施の形態について説明する。図８は、本発明の第２実施形態の画像処理装置のブロック図である。この第２実施形態の画像処理装置１０１は、仮領域設定部が異なる点を除いて、第１実施形態の画像処理装置とその構成は共通する。従って、仮領域設定部についてのみ説明する。
【０１１３】
仮領域設定部１１０は、均一色領域検知部１３と、周期的領域検知部１４とを備える。仮領域設定部１１０は、所定の特徴量をもつ領域を所定の画像オブジェクトの領域に仮設定する。すなわち、所定の特徴量をもつ領域、例えば、均一な色で構成された領域、画素値が何らかの周期性を持つ領域、又は画素値が何らかの変化を持つ領域を所定の画像オブジェクトの領域に仮設定する。
【０１１４】
均一色領域検知部１３は、均一な色で構成された領域を検知する。均一色領域検知部１３は、均一な色で構成された領域を検知する。言い換えれば同一な色が連続している領域を検知する。このため、均一色領域検知１３は、均一な色で構成された領域、すなわち同じ画素値を持つ画素が連続する領域を検知し、この検知した領域を仮領域設定部１１０は所定の画像オブジェクトの領域に仮設定する。
【０１１５】
具体的には、均一色領域検知部１３は、上下左右あるいは斜め方向に隣接する画素の画素値を比較し、画素値が等しい場合に順次それらを抽出していく。ただし、１つの均一な色で構成された領域の画素数が少ない場合（あらかじめ設定されたあるいは外部から指定した値より小さい場合）、その領域は均一色領域としては検知しない。
【０１１６】
後述するように、均一色領域検知部１３によって検知された領域は、仮ＣＧ領域として設定される。しかしながら、カメラなどにより撮影された撮影画像が張り込まれた写真領域中にも、髪や雪景色、あるいは曇り空などのように、均一色領域が存在する。このような領域が仮ＣＧ領域として設定されると不都合が発生するため、このような領域は検知領域から除外する必要がある。
【０１１７】
上記した髪や雪景色、あるいは曇り空などのような写真領域中の均一色領域は通常画素値が非常に偏っている。すなわち、入力画像が各色成分８ｂｉｔで構成されたＲＧＢ表色系のデータであった場合、ＲＧＢ各成分ともに０から２５５までの値を取るが、髪ならＲＧＢ全ての成分が０付近の、雪景色や曇り空などはＲＧＢ全ての成分が２５５付近の非常に偏った値となる。従って、このように非常に偏った値で構成された領域は、均一色領域検知部１３での検知からは除外する。
【０１１８】
周期的領域検知部１４は、画素値が周期的に変化する領域、又は画素値が一定の変化を持つ領域を検知する。そして、仮領域設定部１１０は、周期的領域検知部１４が検知した画素値が周期的に変化する領域、又は画素値が一定の変化を持つ領域を所定の画像オブジェクトの領域に仮設定する。ここで、画素値が周期的に変化する領域とは、一定の周期性を持ってなだらかに画素値が変化するような領域をいう。また、画素値が一定の変化を持つ領域とは、グラデーションなどのように画素値が一定の割合で変化するような領域をいう。
【０１１９】
詳細には、周期的領域検知部１４は、入力された画像から、画素値が何らかの周期性を持つ（周期的に画素値が変化する）領域または一定の変化を持つ領域を検知する。周期的領域検知部１４の処理については言及しないが、例えば共起行列のエネルギーを用いる方法、フーリエ変換やＤＣＴ変換など周波数成分を用いる方法、統計的特徴量を用いる方法など、あるいはそれらを組み合わせた方法などがある。
【０１２０】
周期的領域検知部１４により、なだらかに画素値が変化するグラデーション領域（一定の変化を持つ領域）、テクスチャ領域などＣＧ領域を抽出することができる。なお、均一な色で構成された領域も周期性を持った領域ということもできるので、その場合には、均一色領域検知部１３は不要である。
【０１２１】
仮領域設定部１１０は、均一色領域検知部１３または周期的領域検知部１４の少なくとも何れか一方で検知した領域を仮ＣＧ領域、それ以外の領域を仮写真領域に仮分離する。
【０１２２】
このように第２実施形態の画像処理装置１０１によれば、画像を画素値の均一性や周期性あるいは変化率に基づき仮ＣＧ領域と仮写真領域に仮分離し、仮ＣＧ領域の色頻度からＣＧ色を特定し、この特定色からＣＧ画素を特定し、つづいて領域の連続性や孤立領域の画素数から補正して画素の属性を決定したので、分離結果出力部７から出力される情報に基づいて領域判別を行うことにより、グラフィックス処理で人工的に生成されたグラフィクス画像オブジェクトとカメラで撮影された写真画像オブジェクトとが混在した画像であっても、自動的かつ簡単に、グラフィクス画像オブジェクトと写真画像オブジェクトの領域を確定することができる。
【０１２３】
また、グラフィクス画像オブジェクトと写真画像オブジェクトとの境界部分の個々の画素については、上記したように領域の連続性や孤立領域の画素数から補正して画素の属性を決定するので、境界部分も精度よく領域確定することができる。
【０１２４】
（第３の実施の形態）
次に、第３の実施の形態に係る画像処理装置について説明する。図９は、本発明の第３実施形態の画像処理装置のブロック図である。図９に示すように、画像処理装置２０１は、画像入力部３と、領域分離部９と、分離結果出力部７とを備える。画像入力部３は、画像データを取り込む。領域分離部９は、画像を構成する各画素の属性を判定することで画像オブジェクトの領域を判別する。分離結果出力部７は、領域分離部９により分離された画像オブジェクトの領域を示す情報を出力する。
【０１２５】
詳細には、領域分離部９は、処理対象の画素の画素値と、処理対象の画素の周辺に存在する画素（近傍画素）の画素値、及びそれぞれの連続性とに基づいて、処理対象の画素が、自然画像をほぼ再現可能な処理により生成された、すなわちカメラなどにより撮影された撮影画像の一例である写真画像オブジェクト又はグラフィクス処理により人工的に生成されたグラフィクス画像オブジェクトのうちの何れに属するのかを表す属性を判定することで前記２種類の画像オブジェクトの領域を分離する。
【０１２６】
このため、領域分離部９は、領域判別部５（１０５）と、判別結果出力部７１と、領域修正部７２と、領域設定部７３と、分離結果選択部７４とを備える。領域判別部５（１０５）は、コンピュータグラフィックス（ＣＧ）処理にて作成されたＣＧ領域や、カメラなどにより撮影された撮影画像が張り込まれた写真領域など領域の属性を判別する。
【０１２７】
次に、領域分離部９を構成する各処理部について説明していくが、領域判別部５（１０５）に関しては第１実施形態・第２実施形態を説明する際に既にその詳細について説明したので、ここではその説明は省略する。
【０１２８】
判別結果出力部７１は、領域判別部５（１０５）において領域判別された結果を出力する。詳細には、判別結果出力部７１は、領域判別部５（１０５）において領域判別された結果を、例えば図示しないディスプレイ装置に出力したり、図示しないプリンタなどに出力したりすることにより、操作者に領域判別結果の確認を求める。なお、ディスプレイ装置、プリンタが外部に相当する。
【０１２９】
表示あるいは出力の仕方は、例えば領域判別結果を画素ごとに白黒で表し、入力画像と横に並べて表示・出力する。また、領域判別結果をシェードやハッチングなどのテクスチャパターンで表し、入力画像に重畳して表示・出力する。また、入力画像のある色成分を領域判別結果に応じて特定の値に置き換えて表示・出力する。例えば、入力画像が各色成分８ｂｉｔで構成されたＲＧＢ表色系のデータであった場合、領域判別結果がＣＧ領域の時にはＲ信号を２５５に、写真領域の時にはＲ信号を０に置き換える。
【０１３０】
領域修正部７２は、領域判別部５（１０５）において領域判別された結果を修正する。領域修正部７２は、判別結果出力部７１において領域判別結果の確認をした際、その領域判別結果に不具合があった場合に、領域判別結果の修正をおこなう。修正の方法は、例えば、判別結果出力部７１においてディスプレイに表示された領域判別結果に対し、マウスなどで指示する。
【０１３１】
具体的には、マウス左ボタンを押下した場合には、ポインティング個所をＣＧ領域に変更する。また、マウス右ボタンを押下した場合には、ポインティング個所を写真領域に変更する。また、マウス左ボタンを押下しながら領域を囲った場合には囲われた領域がＣＧ領域に変更するなどの方法がある。
【０１３２】
領域設定部７３は、領域判別部５により領域判別された画像に対し新規に画像オブジェクトの領域を設定する。すなわち、領域設定部７３は、入力画像に対してＣＧ領域や写真領域など領域の属性を設定する。詳細には、領域設定部７３は、入力画像に対して手動でＣＧ領域や写真領域など領域の属性を設定する。
【０１３３】
たとえば、判別結果出力部７１において領域判別結果の確認をした際、領域判別結果の不具合を修正するよりも新たに領域を手動設定したほうが良いと考えられた場合、あるいは入力画像でＣＧ領域の特性が写真領域に非常に近似しており、領域判別部５（１０５）において自動で領域判別をおこなうよりも最初から手動で領域設定をした方が良いと想像できる場合などに、領域設定部７３において領域設定がおこなわれる。設定方法は、領域修正部７２と同様に、マウス指示などで行う。
【０１３４】
分離結果選択部７４は、領域判別部５（１０５）、領域修正部７２、又は領域設定部７３の領域分離結果の中からいずれか１つの結果を選択する。すなわち、判別結果出力部７１において領域判別部５（１０５）の領域判別結果を出力した後、修正が不要な場合には、領域判別部５の領域判別結果を選択し、領域修正部７２において領域判別結果の修正をおこなった場合には、領域修正部７２の領域修正結果を選択し、領域設定部７３において新規に領域を設定した場合には、領域設定部７３の領域設定結果を選択する。分離結果選択部７４で選択された領域分離結果は、領域分離部９の領域分離結果として分離結果出力部７に出力される。
【０１３５】
次に、第３の実施の形態に係る画像処理装置の領域分離に係る処理手順について説明する。図１０は、第３実施形態の画像処理装置１における領域分離にかかる処理手順の概要を示すフローチャートである。まず、非図示の手段により自動領域判別処理を実施するか否かを選択する（Ｓ２０１）。
【０１３６】
自動領域判別処理を実施する場合には（Ｓ２０２）へ、実施しない場合には（Ｓ２０６）へ進む。領域判別部５（１０５）は、自動あるいは半自動処理によりＣＧ領域か写真領域かの領域判別処理を実施する（Ｓ２０２）。判別結果出力部７１は、領域判別部５（１０５）で実施した領域判別処理の結果をディスプレイ等へ出力する（Ｓ２０３）。また、ユーザは、確認した領域判別処理の結果を採用するか、修正するか、あるいは新規に領域設定するかを選択する（Ｓ２０４）。
【０１３７】
確認した領域判別処理の結果を採用する場合には（Ｓ２０７）へ、修正する場合には（Ｓ２０５）へ、新規に領域設定する場合には（Ｓ２０６）へ進む。領域修正部７２は、領域判別部５（１０５）で実施した領域判別処理の結果を修正する（Ｓ２０５）。領域設定部７３は、入力画像に対してＣＧ領域か写真領域かの領域設定を新規に行う（Ｓ２０６）。分離結果選択部７４は、（Ｓ２０１）又は（Ｓ２０４）での処理選択結果を用いて、領域判別部５（１０５）、領域修正部７２、又は領域設定部７３からの領域分離結果のいずれかを選択する（Ｓ２０７）。
【０１３８】
このように第３実施形態の画像処理装置２０１によれば、（半）自動処理により画像をＣＧ領域または写真領域に分離し、つづいて領域分離結果を確認し、領域分離結果に不具合が存在する場合には、領域分離結果に修正を加える、あるいは入力画像に新規に領域を設定して、領域分離結果あるいは修正結果あるいは新規領域設定結果を領域分離結果としているので、分離結果出力部７から出力される情報に基づいて領域判別をすることにより、グラフィックス処理で人工的に生成されたグラフィクス画像オブジェクトとカメラで撮影された写真画像オブジェクトとが混在した画像であっても、簡単にかつ確実に、グラフィクス画像オブジェクトと写真画像オブジェクトの領域を確定することができる。
【０１３９】
また、グラフィクス画像オブジェクトと写真画像オブジェクトとの境界部分や複雑に入り組んだ部分などの個々の画素についても、（半）自動処理の結果を確認、必要があれば修正することが可能であるので、上記したような誤判定が発生しやすい境界部分や複雑に入り組んだ部分なども精度よく領域確定することができる。
【０１４０】
図１１は、ＣＰＵやメモリを利用して、ソフトウェア的に画像処理装置１、１０１、２０１を構成した例を示している。すなわち電子計算機（コンピュータ）を用いて構成する場合のハードウェア構成の一例を示した図である。この画像処理装置１、１０１、２０１は、ＣＰＵ９０２、ＲＯＭ９０４、ＲＡＭ９０６、および通信Ｉ／Ｆ（インタフェース）９０８を備える。また、たとえばハードディスク装置９１４、ＦＤドライブ９１６、又はＣＤ−ＲＯＭドライブ９１８などの、記憶媒体からデータを読み出したり記録したりするための記録・読取装置を備えてもよい。
【０１４１】
また、処理結果や途中結果を表示したり出力したりするディプレイ９２６やプリンタ９２８などの表示・出力装置を備えてもよい。ハードディスク装置９１４、ＦＤドライブ９１６、又はＣＤ−ＲＯＭドライブ９１８は、たとえば、ＣＰＵ９０２にソフトウェア処理をさせるためのプログラムデータを記憶するなどのために利用される。通信Ｉ／Ｆ９０８は、インターネットなどの通信網との間の通信データの受け渡しを仲介する。
【０１４２】
このような構成の画像処理装置１、１０１、２０１は、第１〜第３実施形態に示した基本的な構成および動作と同様とすることができる。また、上述した処理手順をコンピュータに実行させるプログラムは、ＣＤ−ＲＯＭ９２２などの記録媒体を通じて配布される。又はプログラムは、ＣＤ−ＲＯＭ９２２ではなくＦＤ９２０に格納されてもよい。また、図示は省略するが、ＭＯドライブを設け、ＭＯに前記プログラムを格納してもよく、またフラッシュメモリなどの不揮発性の半導体メモリカード９２４などのその他の記録媒体に前記プログラムを格納してもよい。さらに、他のサーバなどからインターネットなどの通信網を経由して前記プログラムをダウンロードして取得したり、あるいは更新したりしてもよい。
【０１４３】
なお、記録媒体としては、ＦＤ９２０やＣＤ−ＲＯＭ９２２などの他にも、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）などの光学記録媒体、ＭＤ（ＭｉｎｉＤｉｓｃ）などの磁気記録媒体、ＰＤなどの光磁気記録媒体、テープ媒体、磁気記録媒体、ＩＣカードやミニチュアーカードなどの半導体メモリを用いることができる。
【０１４４】
記録媒体の一例としてのＦＤ９２０やＣＤ−ＲＯＭ９２２などには、上記各実施形態で説明した画像処理装置１における処理手順を示したフローチャートの一部または全ての機能を格納することができる。したがって、以下のプログラムや当該プログラムを格納した記憶媒体を提供することができる。
【０１４５】
たとえば、画像処理装置用のプログラム、すなわちＲＡＭ９０６などにインストールされるソフトウェアは、上記各実施形態に示された画像処理装置１、１０１、２０１と同様に、領域判別部５、１０５、領域分離部９、仮領域設定部１０、１１０、領域特定部３０、領域補正部５０、仮ＣＧ領域設定部１１、仮写真領域設定部１２、均一色領域検知部１３、周期的領域検知部１４、出現度合い算出部３１、頻度閾値設定部３２、領域使用色特定部３３、属性特定部３４、第１属性補正部５１、孤立閾値設定部５２、第２属性補正部５３、判別結果出力部７１、領域修正部７２、領域設定部７３、又は分離結果選択部７４などの各機能部を手段に置き換え、ソフトウェアとして備える。
【０１４６】
なお、このソフトウェアは、ラボ側だけに限らず、たとえばフォトフィニッシングシステムを利用するためのＷｅｂアプリケーションプログラムとしてユーザ側に提供されてもよい。この場合、ユーザ側にても、グラフィクス画像オブジェクトと写真画像オブジェクトとが混在した画像から、写真画像オブジェクトだけ、又はグラフィクス画像オブジェクト部分だけを抽出して、個別の画像処理を施すことができる。
【０１４７】
そして、たとえば画像処理装置１、１０１、２０１をコンピュータにより構成する場合、ＣＤ−ＲＯＭドライブ９１８は、ＣＤ−ＲＯＭ９２２からデータまたはプログラムを読み取ってＣＰＵ９０２に渡す。そして、ソフトウェアは、ＣＤ−ＲＯＭ９２２からハードディスク装置９１４にインストールされる。ハードディスク装置９１４は、ＦＤドライブ９１６またはＣＤ−ＲＯＭドライブ９１８によって読み出されたデータまたはプログラムや、ＣＰＵ９０２がプログラムを実行することにより作成されたデータを記憶するとともに、記憶したデータまたはプログラムを読み取ってＣＰＵ９０２に渡す。
【０１４８】
ハードディスク装置９１４に格納されたソフトウェアは、ＲＡＭ９０６に読み出された後にＣＰＵ９０２により実行される。たとえばＣＰＵ９０２は、記録媒体の一例であるＲＯＭ９０４およびＲＡＭ９０６に格納されたプログラムに基づいて上記の処理手順を実行することにより、上記処理手順における画素属性特定処理およびそれに基づく領域特定処理のための機能をソフトウェア的に実現することができる。
【０１４９】
以上説明したように、上記各実施形態によれば、画像処理装置は、多数の画素で表現されるとともに個々の画像オブジェクトにより構成される画像における、個々の画像オブジェクトの領域を判別可能にする画像処理装置であって、画像を表す個々の画素の画素値の使用度合いに基づいて、処理対象の画素が、撮影装置により撮影された撮影画像オブジェクトおよびグラフィクス処理により生成されたグラフィクス画像オブジェクトのうちの何れに属するのかを表す属性を判定することで２種類の画像オブジェクトの領域を判別する領域判別部を備えている。
【０１５０】
このため、領域判別部は、画像を表す個々の画素の画素値の使用度合いに基づいて、処理対象の画素が、撮影画像オブジェクト又はグラフィクス画像オブジェクトのうちの何れに属するのかを判定できる。グラフィックス処理としての使用可能色数が、６４万色あるいはそれ以上であって略写真画像並の再現性を有していたとしても、グラフィクス画像オブジェクトのそれぞれは通常使用色数が少ない。つまり、個々のグラフィクス画像オブジェクトは、使用画素値や使用色が少ない。
【０１５１】
これに対して、撮影画像オブジェクトは、カメラなどで撮影されたものであり、被写体には微妙な色調ムラや濃度ムラがあり、またカメラの撮像部の画素も、感度ムラがあるので、どんなに均一な被写体を撮影したとしても、多少の画素値のムラが生じる。つまり、個々の撮像画像オブジェクトは、使用画素値や使用色が多くなる。したがって、画像を表す個々の画素の画素値の使用度合いを参照することで、画像オブジェクトが、撮影画像オブジェクトおよびグラフィクス画像オブジェクトの何れであるのかが分かる。
【０１５２】
また、上記各実施形態の画像処理装置１、１０１、２０１によれば、グラフィックス処理で人工的に生成されたＣＧ画像とカメラなどで撮影された自然画像を表す撮影画像とが混在した画像であっても、意図的に少しずつ値が異なるように（略自然画像を表すように）グラフィックス処理されていない限り、画素属性を精度よく特定することができる。したがって、分離結果出力部７から出力される各画素又はブロックの属性に基づいて領域判別すれば、グラフィクス画像オブジェクト部分と写真画像オブジェクトと精度よく領域判別することができる。なお、仮ＣＧ領域やＣＧ色を特定するための閾値を画像の特徴などに応じてダイナミックに調整すれば、一層精度のよい領域確定をすることができる。
【０１５３】
これにより、たとえば、写真画像オブジェクト部分を抽出（トリミング）し、たとえば、色、階調、明るさなどの補正処理や、白黒仕上げ、セピア仕上げ、赤目補正など、グラフィクス画像オブジェクトに対するのとは異なる画像処理パラメータで抽出した写真画像オブジェクトを処理することで、写真部分だけを自然の状態で美しくなるように画像編集することができる。
【０１５４】
また、逆にグラフィクス画像オブジェクトを抽出（トリミング）し、この抽出したグラフィクス画像オブジェクトに対して、たとえば、色、階調、明るさなどの補正処理など、写真画像オブジェクトに対するのとは異なる画像処理パラメータで処理することもできる。
【０１５５】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。また、上記の実施形態は、特許請求の範囲にかかる発明を限定するものではなく、また、実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。
【０１５６】
たとえば、上記各実施形態では、写真画像オブジェクト（写真画像）を撮影画像オブジェクト（撮影画像）の一例として説明したが、撮影装置による撮影により得られる画像と実質的に等価な画像であればよく、必ずしも写真画像である必要はない。
【０１５７】
また、写真画像オブジェクトとグラフィクス画像オブジェクトとを合成して写真入りポストカードを作成した場合における領域判別について説明したが、これに限らず、グラフィックス処理で人工的に生成されたＣＧ画像とカメラなどで撮影された撮影画像とが混在した画像である限り、どのような混在画像であってもよい。また、フォトシステムに適用されることに限らない。
【０１５８】
なお、撮影画像は、撮影装置による撮影により得られる画像と実質的に等価な画像であればよく、たとえば、グラフィックス処理で生成されたＣＧ画像のうち、たとえば使用可能色数が６４万色あるいはそれ以上であって略写真画像並の再現性を呈するＣＧ画像も含む。本願発明の画像処理装置は、グラフィクス画像オブジェクトのそれぞれは通常使用色数が少ない点に着目してＣＧ画像と写真画像などの撮影画像とを自動的に領域判別するものであるから、前述のように、ＣＧ画像のうち、略写真画像並の再現性を呈するＣＧ画像を撮像画像に含めても何ら問題がないからである。
【発明の効果】
以上のように、本発明によれば、画像オブジェクトの領域を判別し、各画像オブジェクトの領域に応じた画像処理を行うことができる画像処理装置、画像処理方法、及び画像処理プログラムを提供できる。
【図面の簡単な説明】
【図１】本願発明に係る画像処理装置を利用するラボを備えたネットワークフォトサービスシステムの一例を示す図である。
【図２】顧客側にて、写真入りポストカード画像を合成して注文するときの概念図である。
【図３】生成された写真入りポストカード画像の一例を示す図である。
【図４】第１実施形態の画像処理装置のブロック図である。
【図５】第１実施形態の画像処理装置における仮領域設定処理の詳細を説明する図である。
【図６】第１実施形態の画像処理装置における領域補正処理の詳細を説明する図である。
【図７】第１実施形態の画像処理装置における領域判別にかかる処理手順の一例を示すフローチャートである。
【図８】第２実施形態の画像処理装置のブロック図である。
【図９】第３実施形態の画像処理装置のブロック図である。
【図１０】第３実施形態の画像処理装置における領域分離にかかる処理手順の一例を示すフローチャートである。
【図１１】ＣＰＵやメモリを利用してソフトウェア的に画像処理装置を構成する場合のハードウェア構成の一例を示した図である。
【符号の説明】
１、１０１、２０１画像処理装置３２頻度閾値設定部
３画像入力部３３領域使用色特定部
５、１０５領域判別部３４属性特定部
７分離結果出力部５０領域補正部
９領域分離部５１第１属性補正部
１０、１１０仮領域設定部５２孤立閾値設定部
１１仮ＣＧ領域設定部５３第２属性補正部
１２仮写真領域設定部７１判別結果出力部
１３均一色領域検知部７２領域修正部
１４周期的領域検知部７３領域設定部
３０領域特定部７４分離結果選択部
３１出現度合い算出部

Claims

複数の種類の画像オブジェクトで構成される画像を入力する画像入力部と、
該画像入力部により入力された入力画像を構成する画素の画素値の出現度合いに基づいて、前記画像オブジェクトの領域を判別する領域判別部と、
該領域判別部により判別された各画像オブジェクトの領域に応じて前記入力画像を処理する手段と、を有することを特徴とする画像処理装置。
前記領域判別部は更に、
前記画素値の出現度合いを算出する出現度合い算出部と、
該出現度合い算出部により算出された前記画素値の出現度合い及び所定の閾値に基づいて、前記入力画像に使用される使用色を特定する使用色特定部と、
該使用色特定部により特定された該使用色に基づいて、前記入力画像に含まれる処理対象画素の属性を特定する属性特定部と、を有することを特徴とする請求項1記載の画像処理装置。
前記領域判別部は更に、前記処理対象画素の近傍に存在する近傍画素の属性、及び該近傍画素と前記処理対象画素との連続性に基づいて、前記属性特定部により特定された前記処理対象画素の属性を補正する第１の属性補正部を有することを特徴とする請求項２記載の画像処理装置。
前記領域判別部は更に、孤立領域の画素数及び所定の閾値に基づいて、前記属性特定部により特定された前記対象画素の属性を補正する第２の属性補正部を有すること特徴とする請求項２又は３記載の画像処理装置。
前記領域判別部は更に、前記入力画像を所定の画像オブジェクトの領域に仮設定する仮領域設定部を有し、
前記出現度合い算出部は、該仮領域設定部により仮設定された前記所定の画像オブジェクトの領域内に含まれる画素の画素値の出現度合いを算出することを特徴とする請求項２から５のいずれか一項に記載の画像処理装置。
前記仮領域設定部は、所定の特徴量をもつ領域を前記所定の画像オブジェクトの領域に仮設定することを特徴とする請求項５記載の画像処理装置。
前記仮領域設定部は、同じ画素値を持つ画素が連続する領域を前記所定の画像オブジェクトの領域に仮設定することを特徴とする請求項５記載の画像処理装置。
前記仮領域設定部は、画素値が周期的に変化する領域、又は画素値が一定の変化を持つ領域を前記所定の画像オブジェクトの領域に仮設定することを特徴とする請求項５記載の画像処理装置。
前記出現度合い算出部は、前記仮領域設定部により前記所定画像オブジェクトの領域に仮設定された領域以外の領域に含まれる画素値の出現度合いを算出することを特徴とする請求項５から８のいずれか一項に記載の画像処理装置。
前記画像処理装置は更に、前記領域判別部により領域判別された結果を外部に出力する判別結果出力部を有することを特徴とする請求項１から９にいずれか一項に記載の画像処理装置。
前記画像処理装置は更に、前記領域判別部により領域判別された結果を修正する領域修正部を有することを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
前記画像処理装置は更に、前記領域判別部により領域判別された画像に対し新規に画像オブジェクトの領域を設定する領域設定部を有することを特徴とする請求項１から１１のいずれか一項に記載の画像処理装置。
前記画像処理装置は更に、前記領域判別部、前記領域修正部、又は前記領域設定部からの結果の中からいずれかの結果を選択する分離結果選択部を有することを特徴とする請求項１から１２のいずれか一項に記載の画像処理装置。
前記画像オブジェクトは、撮影装置により撮影された写真画像オブジェクト又はグラフィックス処理により生成されたグラフィック画像オブジェクトであることを特徴とする請求項１から１３のいずれか一項に記載の画像処理装置。
複数の種類の画像オブジェクトで構成される画像を入力する画像入力段階と、
該画像入力段階により入力された入力画像を構成する画素の画素値の出現度合いに基づいて、前記画像オブジェクトの領域を判別する領域判別段階と、
該領域判別段階により判別された各画像オブジェクトの領域に応じて前記入力画像を処理する段階とを有することを特徴とする画像処理方法。
前記領域判別段階は更に、
前記画素値の出現度合いを算出する出現度合い算出段階と、
該出現度合い算出段階により算出された前記画素値の出現度合い及び所定の閾値に基づいて、前記入力画像に使用される使用色を特定する使用色特定段階と、該使用色特定段階により特定された該使用色に基づいて、前記入力画像に含まれる処理対象画素の属性を特定する属性特定段階と、を有することを特徴とする請求項１５記載の画像処理方法。
前記領域判別段階は更に、前記処理対象画素の近傍に存在する近傍画素の属性及び該近傍画素と前記処理対象画素との連続性に基づいて、前記属性特定段階により特定された前記処理対象画素の属性を補正する第１の属性補正段階を有することを特徴とする請求項１６記載の画像処理方法。
前記領域判別段階は更に、孤立領域の画素数及び所定の閾値に基づいて、前記属性特定段階により特定された前記処理対象画素の属性を補正する第２の属性補正段階を有すること特徴とする請求項１６又は１７記載の画像処理方法。
前記領域判別部は更に、前記入力画像を所定の画像オブジェクトの領域に仮設定する仮領域設定段階を有し、
前記出現度合い算出段階は、該仮領域設定段階により仮設定された前記所定の画像オブジェクトの領域内に含まれる画素値の出現度合いを算出することを特徴とする請求項１６から１８のいずれか一項に記載の画像処理方法。
入力画像を処理するためにコンピュータを、
複数の種類の画像オブジェクトで構成される画像を入力する画像入力手段、
該画像入力手段により入力された入力画像を構成する画素の画素値の出現度合いに基づいて、前記画像オブジェクトの領域を判別する領域判別手段、
該領域判別手段により判別された各画像オブジェクトの領域に応じて前記入力画像を処理する手段として機能させるための画像処理プログラム。
前記領域判別段階は更に、
前記画素値の出現度合いを算出する出現度合い算出手段と、
該出現度合い算出手段により算出された前記画素値の出現度合い及び所定の閾値に基づいて、前記入力画像に使用される使用色を特定する使用色特定手段と、該使用色特定手段により特定された該使用色に基づいて、前記入力画像に含まれる処理対象画素の属性を特定する属性特定手段と、を有することを特徴とする請求項２０記載の画像処理プログラム。
前記領域判別手段は更に、前記処理対象画素の近傍に存在する近傍画素の属性、及び該近傍画素と前記処理対象画素との連続性に基づいて、前記属性特定手段により特定された前記処理対象画素の属性を補正する第１の属性補正手段を有することを特徴とする請求項２１記載の画像処理プログラム。
前記領域判別手段は更に、孤立領域の画素数及び所定の閾値に基づいて、前記属性特定手段により特定された前記処理対象画素の属性を補正する第２の属性補正手段を有すること特徴とする請求項２１又は２２記載の画像処理プログラム。
前記領域判別手段は更に、前記入力画像を所定の画像オブジェクトの領域に仮設定する仮領域設定手段を有し、
前記出現度合い算出手段は、該仮領域設定段階により仮設定された前記所定の画像オブジェクトの領域内に含まれる画素値の出現度合いを算出することを特徴とする請求項２１から２３のいずれか一項に記載の画像処理プログラム。