JP2009272665A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】操作性に優れ、かつ、色情報の抽出を効率的に行う技術を提供する。
【解決手段】画像処理装置１は、複数の彩色画像ＣＩ１をサムネイル化することによって、選択用サムネイル画像ＴＩ１を生成するとともに、彩色画像ＣＩ１に含まれる特定色の色情報を周辺色に置換した色置換画像をサムネイル化することによって、色置換サムネイル画像データＴＩＤ２を生成する。そしてユーザは、表示部１３に表示される画面に従って、未彩色画像ＭＩを彩色のために必要な色情報を持つ画像を、複数の選択用サムネイル画像ＴＩ１から指定するとともに、指定した画像に対応する色置換サムネイル画像ＴＩ２から、抽出したい色情報を持つ画素を所定の操作入力により指定する。これに従って、画像処理装置１は、当該指定された画素が持つ色情報を、色置換サムネイル画像データＴＩＤ２から抽出する。
【選択図】図３

Description

本発明は、彩色画像から色情報を抽出する技術に関する。

マンガ（Manga）は、モノクロ（未彩色）線図の代表的なものである。マンガは、一般的に、欧米のコミック（Comic）とは異なり、日本独自の風合いを持つモノクロ線画である。すなわち、マンガでは、階調（色合い）の表現やキャラクターの感情等が、様々な網点やベタ、効果線等の模様並びに輪郭線等の描画線で表現されており、カラー表現が多いコミックとは性質が大きく異なっている。

従来より、マンガは紙上に印刷されて市場に供給されているが、カラー印刷コストがかかりすぎる等の理由から、雑誌等の巻頭カラーページ以外はモノクロでしか制作されていなかった。

しかし、携帯電話等の端末装置の通信技術の発達により、デジタル化されたマンガを、通信回線を介して購読できるサイトが急増しており、マンガを液晶モニタ等で鑑賞できる機会が増えている。それに伴い、カラー化（彩色、色付け）されたマンガの需要が大きくなっている。また、日本国外においては、モノクロマンガの文化がないため、マンガビジネスを海外展開する上では、モノクロマンガを彩色する必要がある。

ところで、デジタル化したマンガの彩色を行う場合には、例えば作品中の各オブジェクトの色情報をあらかじめカラーパッチに登録しておき、未彩色の線画を彩色する際に、登録したカラーパッチから逐一検索して、各オブジェクトを彩色する方法が行われている。

しかし、この彩色方法では、作品中に登場するオブジェクトが多数存在する場合に、カラーパッチに登録される色情報が膨大となるという問題があった。したがって、カラーパッチの登録管理作業に膨大な時間がかかる上に、ユーザがカラーパッチの膨大な色情報から必要とする色情報を取得することは困難であった。

上記の彩色方法以外としては、例えば、あらかじめ彩色を行った数ページ分の彩色画像を準備しておき、未彩色の線画を彩色する際に、彩色画像の色を基準として、彩色画像から色抽出を行いつつ、未彩色の線画を彩色する方法が考えられる。

この彩色方法では、あらかじめ準備した複数ページ分の彩色画像を参照しながら彩色を行うことができるため、膨大な色情報の登録および登録した色情報の検索といった煩雑さをなくすことができるし、また、ユーザによる塗り間違い等のミスを少なくすることもできる。

ところが、上記方法においては、あらかじめ準備する彩色画像は、通常、高解像度（例えば３５０ｐｐｉ）の線画を彩色したものであるため、データサイズが比較的大きいものとなっている。したがって、モニタの表示上の制限やコンピュータの処理能力上の制限等といった理由から、当該彩色済み画像を参照しながら色抽出を行いつつ、未彩色の線画を彩色することは容易でない。

例えば、彩色画像全体のサイズが非常に大きいがために、モニタ上で一度に彩色画像全体を表示することができず、また、彩色画像と未彩色の画像とを同時に表示することが困難であった。

本発明は、上記課題に鑑みなされたものであり、操作性に優れ、かつ、色抽出を効率的に行う技術を提供することを目的とする。

上記の課題を解決するため、請求項１の発明は、彩色画像から色情報を抽出する画像処理装置であって、彩色画像を表現する彩色画像データを取得する取得手段と、前記彩色画像データについて、サムネイル化することによってサムネイル画像データを生成するサムネイル化手段と、前記サムネイル画像データから、所定の操作入力に基づいて、色情報を抽出する色情報抽出手段とを備えることを特徴とする。

また、請求項２の発明は、請求項１の発明に係る画像処理装置であって、前記サムネイル化手段は、前記彩色画像データに含まれる特定色を持つ特定画素について、当該特定色を前記特定画素の周辺に位置する周辺画素の持つ周辺色に置換することによって色置換画像とした後に、サムネイル化することを特徴とする。

また、請求項３の発明は、請求項１または２の発明に係る画像処理装置であって、前記サムネイル化手段は、前記彩色画像のうち、複数の色の画素を所定の規則で空間的に分布させて色調を表現した特定領域を対象として、前記彩色画像データから複数の色を抽出するとともに、前記特定領域に対応する対応領域を、前記複数の色に含まれる各色で個別に彩色した複数のサムネイル画像データをそれぞれ生成することを特徴とする。

また、請求項４の発明は、請求項２の発明に係る画像処理装置であって、前記サムネイル化手段は、彩色画像をサムネイル化して基準サムネイル画像を生成するとともに、前記彩色画像から得られた前記色置換画像をサムネイル化して色置換サムネイル画像を生成し、前記色情報抽出手段は、第１操作入力に基づいて、複数の基準サムネイル画像から対象画像を選択した後、第２操作入力に基づいて、前記対象画像に対応する色置換サムネイル画像から色色情報を抽出することを特徴とする。

また、請求項５の発明は、請求項４の発明に係る画像処理装置であって、前記サムネイル化手段は、複数の前記基準サムネイル画像の内容を示すための表示用画像データを生成する表示用画像データ生成手段、を含み、前記画像処理装置は、前記表示用画像データを表示する表示手段、をさらに備え、前記表示用画像データは、画像をページめくり表示させるためのデータであり、前記表示手段は、前記表示用画像データをページめくり表示することを特徴とする。

また、請求項６の発明は、情報処理装置を使用して彩色画像から色情報を抽出する画像処理方法であって、前記情報処理装置が、(a)前記彩色画像を表現する彩色画像データを取得する工程と、(b)前記(a)工程にて取得した前記彩色画像データについて、サムネイル化することによってサムネイル画像データを生成する工程と、(c)前記(b)工程にて生成したサムネイル画像データから、所定の操作入力に基いて、色情報抽出する工程とを実行することを特徴とする。

また、請求項７の発明は、コンピュータが読み取り可能なプログラムであって、前記コンピュータのＣＰＵが前記プログラムをメモリにて実行することにより、前記コンピュータを、彩色画像を表現する彩色画像データを取得する取得手段と、前記彩色画像データについて、サムネイル化することによってサムネイル画像データを生成するサムネイル化手段と、前記サムネイル画像データから、所定の操作入力に基づいて、色情報を抽出する色情報抽出手段とを備える彩色画像から色情報を抽出する画像処理装置として機能させることを特徴とする。

請求項１ないし７の発明によれば、彩色画像をサムネイル化した画像から色抽出を行うことによって、扱う画像のサイズやデータ量を少なくできるため、モニタの表示能力やコンピュータの処理能力の制限をほとんど受けることのないため、操作が容易となり、効率的に色情報の抽出を実行することができる。

また、請求項２の発明によれば、特定色を周辺色に置換した状態でサムネイル画像を生成することで、抽出を望まない特定色を除去しつつ、抽出する可能性の高い周辺色を持つ画素を相対的に増加させることができるため、色抽出を容易に行うことができる。

また、請求項３の発明によれば、複数の色の画素を空間的に組合せて色調を表現した特定領域が彩色画像に含まれているときに、その対応領域を複数の色に含まれる各色で個別に彩色した複数のサムネイル画像データを生成することにより、色抽出をミスすることなく容易に実行することができる。

また、請求項４の発明によれば、複数画像の中から対象画像を選択するための選択用の画像（基準サムネイル画像）と、色抽出用の画像（色置換サムネイル画像）とをそれぞれ生成することで、複数の彩色画像から色抽出するための画像の選択と、色抽出とを容易に実行できる。

また、請求項５の発明によれば、選択するための画像（基準サムネイル画像）をめくり表示することによって、画像を表示するための領域を比較的小さくすることができるとともに、抽出したい色を持つ画像の検索を効率良く行うことができる。

以下、本発明の好適な実施の形態について、添付の図面を参照しつつ、詳細に説明する。

＜１． 第１の実施の形態＞
＜１．１． 画像処理装置１の構成および機能＞
［概略構成］
図１は、本発明の第１の実施の形態に係る画像処理装置１の外観図である。また、図２は、画像処理装置１の構成を示す図である。

画像処理装置１は、主にＣＰＵ１０、記憶部１１、操作部１２、表示部１３、ディスク読取部１４、通信部１５およびスキャナ１６を備え、一般的なコンピュータ（情報処理装置）としての機能を備えている。

ＣＰＵ１０は、記憶部１１に記憶されているプログラム２にしたがって動作することによって、各種データの演算や制御信号の生成を実行し、画像処理装置１の各構成を制御する。ＣＰＵ１０によって実現される機能ブロックについては後述する。

記憶部１１は、ＣＰＵ１０の一時的なワーキングエリアとなるＲＡＭ及びハードディスクや、読み取り専用のＲＯＭを備えている（図示せず）。記憶部１１は、プログラム２や各種データを記憶する記録媒体としての機能を有している。なお、プログラム２は、後述する記録媒体９からディスク読取部１４を介して記憶部１１に転送されてもよい。あるいは、プログラム２が通信部１５を介して、記憶部１１に転送されてもよい。

操作部１２は、画像処理装置１に対してユーザの指示を入力するために使用される。すなわち、操作部１２は、画像処理装置１における入力装置として機能する。具体的に操作部１２は、例えばキーボードやマウス、ペンタブレット（登録商標）及び各種ボタン類などが該当する。

表示部１３は、各種データを画像として画面に表示する。すなわち表示部１３は、画像処理装置１における表示装置として機能する。具体的に表示部１３は、例えばＣＲＴモニタや液晶ディスプレイなどが該当するが、タッチパネルディスプレイのように、操作部１２の機能を一部有しているものでもよい。

ディスク読取部１４は、可搬性の記録媒体９に記憶されているデータを読み取って記憶部１１に転送する装置である。すなわち、ディスク読取部１４は画像処理装置１におけるデータ入力装置として機能する。

なお、本実施の形態における画像処理装置１は、ディスク読取部１４としてＣＤ−ＲＯＭドライブを備えている。しかし、ディスク読取部１４はこれに限られるものではなく、例えばＦＤドライブ、ＤＶＤドライブ、ＭＯ装置などであってもよい。なお、ディスク読取部１４が記録媒体９にデータを記録させる機能を有する場合には、ディスク読取部１４に記憶部１１の機能の一部を代行させることも可能である。

通信部１５は、画像処理装置１と図示しない他の装置群との間でネットワークを介した通信を行う。画像処理装置１は、当該ネットワークを介することによって、各種データを取得することができる。

スキャナ１６は、線画を読み取るための読取装置であって、多数のイメージセンサを有しており、アナログの線画をデジタルデータとして取得する機能を有する。

図３は、画像処理装置１の機能ブロックをデータの流れとともに示す図である。図３に示す画像取得部２１、サムネイル化部２２、色情報抽出部２３および彩色処理部２４は、主にＣＰＵ１０がプログラム２に従って動作することにより実現される機能ブロックである。なお、本実施の形態における画像処理装置１は、以下に説明する各機能ブロックの働きにより、あらかじめ彩色処理を行った画像（彩色画像）をサムネイル化して得たサムネイル画像から色情報を抽出し、当該抽出した色情報に基づいて未彩色の画像（未彩色線画）を彩色する。

［画像取得部２１］
画像取得部２１は、未彩色画像ＭＩを表現する未彩色画像データＭＩＤを取得する。また、画像取得部２１は、複数ページ分の未彩色画像ＭＩの一部のページを彩色した彩色画像ＣＩ１を表現する彩色画像データＣＩＤ１を取得する。

これらの画像データの取得については、具体的には、印刷基材（紙等）に印刷された複数ページの線画（マンガの一部）をスキャナ１６によって読取ってデジタル化したものを未彩色画像データＭＩＤとして記憶部１１に格納する。また、複数ページの未彩色画像データＭＩＤのうちの一部をユーザが所定のソフトウエアを利用して彩色することにより、彩色画像データＣＩＤ１を生成する。

なお、この彩色処理は、例えばオペレータが彩色する色と領域とを、所定の操作入力により指定し、逐一彩色することにより実行される。このようにして得られる彩色画像ＣＩ１は、色情報を有する基準画像となる。

また、未彩色画像データＭＩＤおよび彩色画像データＣＩＤ１の取得方法は、上記のものに限られるものではなく、例えば記録媒体９に記録されている未彩色画像データＭＩＤあるいは彩色画像データＣＩＤ１をディスク読取部１４により読取ることで取得されてもよいし、ネットワークを介して取得されてもよい。

画像処理装置１の処理対象となる線画は、紙等に記載されたアナログ画像（原稿）の場合のほか、過去にデジタル化された画像の場合もあるが、いずれの場合も白黒画像であるものとして説明する。

アナログ画像の場合には、スキャナ１６などを用いた光電読取りによってデジタル化するにあたって２値画像としての読取りでもよいが、その場合には、下記に説明する彩色処理の前に、複数ビットを用いたカラー多階調画像表現（例えばＲ（赤）Ｇ（緑）Ｂ（青）の信号値を各８ビットで表現、すなわち１画素当たり２４ビットで表現）の画像に変換しておく。もちろん、最初からカラー多階調での画像読取りであってもよい。

また、本実施の形態では、線画中の描画線等を構成する画素は「黒色」の画素で、無地部分の画素は「白色」の画素で構成されているものとして説明するが、これらは説明のために便宜的に定義されるものであり、例えば描画線等が「白色」の画素によって構成されていてもよい。

［サムネイル化部２２］
サムネイル化部２２は、主に縮小処理部２２１、表示用画像データ生成部２２２および色置換部２２３を備え、彩色画像データＣＩＤ１についての画像をサムネイル化する機能を有する。ここでのサムネイル化とは、具体的には、オリジナルの画像データ（例えば３５０ｐｐｉ，３５００×５０００画素）を、縮小処理することによって、サムネイル画像データ（例えば２００×３００画素程度）を得ることをいう。

なお、本実施の形態における画像処理装置１では、サムネイル化部２２は、複数の彩色画像ＣＩ１の中からユーザが抽出したい色情報を持つ対象画像を選択するための選択用サムネイル画像（基準サムネイル画像）ＴＩ１と、色情報を抽出するための色置換サムネイル画像ＴＩ２とをそれぞれ表現するデータ（選択用サムネイル画像データＴＩＤ１，色置換サムネイル画像データＴＩＤ２）を生成する。

［縮小処理部２２１］
縮小処理部２２１は、画像取得部２１によって取得したオリジナルの彩色画像データＣＩＤ１を、ニアレストネイバー法、バイリニア法、バイキュービック法等の種々の縮小化手法を選択的に用いることでサムネイル化する。本実施の形態では、縮小処理部２２１は、彩色画像データＣＩＤ１をそのまま縮小加工して得た画像データを、選択用サムネイル画像データＴＩＤ１として記憶部１１に格納する。

なお、上記の縮小化の際に、所定サイズの画素ブロック内に含まれる複数の画素が持つ階調値の中から中央値（メディアン値）を抽出し、当該画素ブロックの位置に対応する縮小画像の画素の階調値を当該中央値とする処理を実行してもよい。

［表示用画像データ生成部２２２］
表示用画像データ生成部２２２は、縮小処理部２２１が生成した複数ページ分の選択用サムネイル画像データＴＩＤ１の内容を示すための表示用画像データＤＩＤを生成する。本実施の形態では、表示用画像データＤＩＤは、画像をページめくり表示させるためのデータである。すなわち、表示用画像データＤＩＤは、各ページ（１枚分の選択用サムネイル画像ＴＩ１）が順次めくられていく様子を表示するために必要な、一種のアニメーションを構成する画像データである（図１０参照）。表示用画像データ生成部２２２は、選択用サムネイル画像データＴＩＤ１を加工して生成した表示用画像データＤＩＤを記憶部１１へ格納する。

［色置換部２２３］
色置換部２２３は、オリジナルの彩色画像データＣＩＤ１に含まれる特定色を持つ特定画素について、当該特定色を特定画素の周辺に位置する周辺画素の持つ周辺色に置換することによって色置換画像とする。具体的には、例えば、彩色画像データＣＩＤ１の画面全体のうちの黒の階調値（＝ＲＧＢ（０，０，０））を持つ特定画素の階調値を、黒以外の階調値を持つ画素であって、特定画素の周辺で近接する周辺画素の階調値に置換する。なお、特定画素と近接画素との間の距離は、所定の値以内に設定される。

このように、彩色画像データＣＩＤ１が表現する彩色画像ＣＩ１に含まれる特定色を周辺色に置換することで、一定サイズ以上の大きさの黒色の画素集合でベタ塗りされた部分は残しつつ、一定サイズに満たない黒色の画素集合を周辺色に置き換えることができる。したがって、色情報を抽出するための色置換サムネイル画像データＴＩＤ２は、不要な色（特定色）をもつ画素が減少し、抽出する可能性の高い色（周辺色）を持つ画素が相対的に増加した画像を表現するため、色抽出を行いやすい画像データとなっている。

上記の色置換処理により得られた色置換画像の画像データは、縮小処理部２２１によってサムネイル化され、色置換サムネイル画像データＴＩＤ２として記憶部１１に格納される。なお、各色置換サムネイル画像データＴＩＤ２は、色置換処理する前の元の彩色画像データＣＩＤ１をそのままサムネイル化した選択用サムネイル画像データＴＩＤ１と関連づけられて、記憶部１１に格納される。この関連付けは、例えば共通の識別情報を持たせること等によって実現されてもよいが、これに限られるものではなく、その他の種々の手法によって実現されてもよい。

［色情報抽出部２３］
色情報抽出部２３は、主に表示制御部２３１を備え、サムネイル化部２２により生成されたサムネイル画像データから、ユーザの所定の操作入力に基づいて、色情報を抽出する機能を有する。

［表示制御部２３１］
表示制御部２３１は、表示用画像データＤＩＤの記述に基づいて、複数の選択用サムネイル画像ＴＩ１をめくり表示するための表示用画像データＤＩＤを記憶部１１から取得し、表示部１３に表示させた画像選択画面Ｗ１の中で、複数の選択用サムネイル画像ＴＩ１をめくり表示させる。換言すれば、表示制御部２３１は、選択用サムネイル画像ＴＩ１をユーザに提示する機能を有する。

詳細については、後述するが、画像選択画面Ｗ１が表示された状態で、ユーザの操作入力（第１操作入力）に基いて、１の選択用サムネイル画像ＴＩ１（基準サムネイル画像）が選択されると、表示制御部２３１は、引き続き色情報抽出画面Ｗ２を表示部１３に表示させる。

この色情報抽出画面Ｗ２では、先に選択された選択用サムネイル画像ＴＩ１に対応する色置換サムネイル画像ＴＩ２がユーザに提示される。したがって、ユーザは、表示された色置換サムネイル画像ＴＩ２を参照しながら、所定の操作入力（第２操作入力）によって、抽出すべき色を指定することができる。その結果、色情報抽出部２３は指定された色情報を色置換サムネイル画像データＴＩＤ２から抽出し、色情報を記述した抽出色情報ＳＣＩを記憶部１１に格納する。

［彩色処理部２４］
彩色処理部２４は、抽出色情報ＳＣＩを参照し、記述されている色情報で未彩色画像ＭＩを彩色する機能を有する。具体的には、色情報抽出画面Ｗ２とは別に表示された未彩色画像ＭＩの一部の領域（閉領域）をユーザが指定し、当該領域内部を抽出色で彩色することにより彩色処理が実行される。そして彩色処理部２４は、彩色処理を終えた彩色済み画像を表現するデータ（彩色済み画像データＣＩＤ２）を記憶部１１に格納する。

以上が、本実施の形態における画像処理装置１が備える各機能ブロックの説明である。次に、画像処理装置１の動作について説明する。

＜１．２． 画像処理装置１の動作＞
図４は、画像処理装置１の主な動作の流れを示す図である。なお、以下に説明する画像処理装置１の動作は、特に断らない限り、ＣＰＵ１０の制御により実現されるものである。

画像処理装置１は、各種設定情報等の読込みを行った後、未彩色画像データＭＩＤおよび彩色画像データＣＩＤ１を取得する（ステップＳ１、ステップＳ２）。なお、本実施の形態では、各画像データは、３５０ｄｐｉの高解像度で取得され、例えば３５００×５０００画素で表現されるものとするが、もちろんこれに限られるものではない。

図５は、複数ページ分の未彩色画像ＭＩの例を示す図である。また、図６は、図５に示す未彩色画像ＭＩの一部を色づけした彩色画像ＣＩ１の例を示す図である。

図５に示す未彩色画像ＭＩを表現する未彩色画像データＭＩＤは、紙媒体等に記載された複数ページからなる一連のマンガをスキャナ１６により読取ってデジタル化したものである。また、図６に示す彩色画像ＣＩ１を表現する彩色画像データＣＩＤ１は、取得した複数ページ分の未彩色画像データＭＩＤのうちの一部を、所定のソフトウエアを用いてユーザが色付けを行って得られるものである。

再び図４に戻って、各画像データを取得すると、画像処理装置１は、彩色画像データＣＩＤ１の全てをサムネイル化して選択用サムネイル画像データＴＩＤ１を生成し、表示用画像データＤＩＤを生成する（ステップＳ３）。

図７は、図６に示す彩色画像ＣＩ１を表現する彩色画像データＣＩＤ１をサムネイル化した選択用サムネイル画像ＴＩ１の例を示す図である。本実施の形態における画像処理装置１は、複数ページ部の彩色画像データＣＩＤ１を縮小処理することによって、例えば、２００×３００画素程度の選択用サムネイル画像ＴＩ１（ＴＩ１ａ，ＴＩ１ｂ・・・）をそれぞれ生成する。

なお、図７に示す例では、識別を容易化するために、各選択用サムネイル画像ＴＩ１ａ，ＴＩ１ｂに「０００１」，「０００２」といった連番の識別情報を付与している。そして、画像処理装置１は、これら生成した選択用サムネイル画像ＴＩ１を順次めくり表示するための表示用画像データＤＩＤを生成する。

再び図４に戻って、表示用画像データＤＩＤを生成した画像処理装置１は、引き続き、色置換サムネイル画像データＴＩＤ２を生成する（ステップＳ４）。より具体的には、図８を参照しつつ説明する。

図８は、画像処理装置１の色置換サムネイル画像データＴＩＤ２の生成の流れを示す図である。まず、画像処理装置１は、色置換処理を行うべき１の彩色画像データＣＩＤ１を複数の彩色画像データＣＩＤ１の中から選択する（ステップＳ４１）。

１の彩色画像データＣＩＤ１を選択すると、画像処理装置１は、選択した画像データが表現する彩色画像ＣＩ１中の、描画線の色（例えば黒色）等の抽出することのない不要な特定色を持つ特定画素の階調値を、当該画素の周辺に位置する周辺画素が持つ周辺色の階調値に置換する（ステップＳ４２）。

より具体的には、色置換部２２３がまず不要な色を持つ特定画素を彩色画像データＣＩＤ１から検出し、以下の条件を満たす周辺画素を検出する。
（１）特定画素から４方向（あるいは８方向）の向きに位置する。
（２）特定画素から所定の範囲内にある。
（３）特定色とは異なる色（周辺色）を持つ。
これらの条件を満たす周辺画素を検出すると、色置換部２２３は、各特定画素の特定色を、該当する周辺画素の持つ周辺色に置換する。

このような色置換処理を実行すると、画像処理装置１は、色置換を行った色置換画像データをサムネイル化することで、色置換サムネイル画像データＴＩＤ２の生成を行う（ステップＳ４３）。そして、画像処理装置１は、他に色置換処理を行うべき彩色画像データＣＩＤ１があるか否かを判定する（ステップＳ４４）。この判定は、例えば色置換処理を終えた彩色画像データＣＩＤ１についてはフラグを設定しておき、判定の際にフラグの有無を参照することで実行することができる。

なお、同一の彩色画像データＣＩＤ１から生成した選択用サムネイル画像データＴＩＤ１と、色置換サムネイル画像データＴＩＤ２は、共通する識別情報（例えば、「０００１」等の番号）を含むようにファイル名が付与されることで、対応付けがなされる。

処理すべき彩色画像データＣＩＤ１が残存している場合（ステップＳ４４にてＹＥＳ）、画像処理装置１は、再びステップＳ４１に戻り、以降の動作を繰り返して行う。一方、全ての彩色画像データＣＩＤ１について、色置換処理が終了した場合（ステップＳ４４にてＮＯ）、画像処理装置１は、色置換サムネイル画像データＴＩＤ２の生成を終了する。

再び図４に戻って、色置換サムネイル画像データＴＩＤ２の生成を終えると、画像処理装置１は、複数の選択用サムネイル画像ＴＩ１の中からからユーザが未彩色画像ＭＩの彩色のために抽出したい色情報を持つ画像（基準サムネイル画像）の選択を行う（ステップＳ５）。より詳細には、図９を参照しつつ説明する。

図９は、画像処理装置１による、複数の選択用サムネイル画像ＴＩ１から色を抽出すべき１の画像を選択する流れを示す図である。まず、画像処理装置１は、ステップＳ３にて生成した選択用サムネイル画像ＴＩ１をめくり表示するための表示用画像データＤＩＤを取得する（ステップＳ５１）。

表示用画像データＤＩＤを取得すると、画像処理装置１は、表示制御部２３１によって、画像選択画面Ｗ１を表示部１３に表示する（ステップＳ５２）。画像選択画面Ｗ１については、図１０を参照しつつ説明する。

図１０は、画像選択画面Ｗ１の例を示す図である。図１０に示すように、本実施の形態における画像選択画面Ｗ１には、選択用サムネイル画像ＴＩ１をめくり表示するための画像表示領域Ｒ１と、ページ送り状態を操作するための操作ボタンを配置する領域Ｒ２とが主に設けられる。

本実施の形態における画像処理装置１では、画像表示領域Ｒ１に、表示用画像データＤＩＤに基づいて、選択用サムネイル画像ＴＩ１の２つ分が左右に並べられて表示される。そして、左側に表示される選択用サムネイル画像ＴＩ１ａは、所定の時間の間、静止状態で表示される。

一方、右側に表示される選択用サムネイル画像ＴＩ１ｂは、選択用サムネイル画像ＴＩ１ａの次ページの画像であり、表示開始直後は左側の選択用サムネイル画像ＴＩ１ａと同様にその全部が表示されるが、時間の経過とともに、左側へめくられるようにして表示される。

すなわち、選択用サムネイル画像ＴＩ１ｂは、その横方向のサイズが徐々に縮小されていき、そして画像がほぼ確認できない状態（例えば、画像の横方向のサイズがほぼ１画素）となると、選択用サムネイル画像ＴＩ１ａが選択用サムネイル画像ＴＩ１ｂに置き換えられて表示される。その後右側部分には、次の選択用サムネイル画像ＴＩ１が表示される。

なお、本実施の形態では、所定の時間の経過とともに画像が次々とめくり表示されるが、領域Ｒ２に設けられた停止ボタンや早送り・巻き戻しボタンをクリックすることで、めくり表示を停止させたり、めくり表示の速度を調整したりすることが可能である。

このように、複数の選択用サムネイル画像ＴＩ１をめくり表示することで、複数の選択用サムネイル画像ＴＩ１の全てを並列的に並べて表示する場合に比べて、画像表示領域Ｒ１を小さくすることができる。また、静止表示されている左側の画像を確認しながら、次の画像（右側の画像）を確認することができるので、ユーザが色抽出を行いたい画像の検索を効率良く行うことができる。

再び図９に戻って、表示部１３に画像選択画面Ｗ１を表示されると、ユーザは、画像表示領域Ｒ１にめくり表示される複数の選択用サムネイル画像ＴＩ１の中から、ユーザが抽出したい色情報を持つ画像を、所定の操作入力（第１操作入力）を行うことで指定する（ステップＳ５３）。

より具体的にはこの指定処理は、例えば、ユーザが操作部１２のマウスを使用して、画像表示領域Ｒ１にめくり表示される選択用サムネイル画像ＴＩ１上にポインタＰを配置し、所定のクリック動作を行うことで実行される。あるいは、ユーザが領域Ｒ２に配置された停止ボタンにポインタＰを合わせて所定のクリック動作を行うことで、画像の指定が実行される。

ユーザにより、１の選択用サムネイル画像ＴＩ１の指定がなされると、画像処理装置１は、これを認識し、指定された画像を表現する選択用サムネイル画像データＴＩＤ１を選択する。

再び図４に戻って、選択用サムネイル画像データＴＩＤ１を選択すると、画像処理装置１は、色置換サムネイル画像ＴＩ２から色情報の抽出を行う（ステップＳ６）。色情報の抽出については、図１１を参照しつつ説明する。

図１１は、画像処理装置１による色置換サムネイル画像ＴＩ２からの色情報の抽出の流れを示す図である。ステップＳ５にて、ユーザが色を抽出したい１の選択用サムネイル画像データＴＩＤ１を選択すると、画像処理装置１は、当該選択された画像データに対応する色置換サムネイル画像ＴＩ２を記憶部１１から取得する（ステップＳ６１）。そして、画像処理装置１は、表示制御部２３１により表示部１３に色情報抽出画面Ｗ２を表示する（ステップＳ６２）。

図１２は、色情報抽出画面Ｗ２の例を示す図である。本実施の形態における色情報抽出画面Ｗ２には、画像を表示するための画像表示領域Ｒ１およびページ送りの操作ボタンが配置される領域Ｒ２のほか、ポインタＰの配置位置の画素および当該画素の８近傍の画素（すなわち、計９画素）の色を表示する拡大表示領域Ｒ３と、ユーザが選択した画素の色を表示する色表示領域Ｒ４と、拡大表示領域Ｒ３の中央に表示された色（すなわち、ポインタＰが指し示す画素が持つ色）の階調値情報を表示する階調値表示領域Ｒ５とが主に設けられている。

色情報抽出画面Ｗ２の画像表示領域Ｒ１には、色情報を抽出するための色置換サムネイル画像ＴＩ２が表示される。この状態で、ユーザは所定の操作入力（第２操作入力）を実行することにより、色置換サムネイル画像ＴＩ２の中から、抽出したい色を持つ画素を指定する。画素が指定されると、色情報抽出部２３は、これを認識して、当該色情報を色置換サムネイル画像データＴＩＤ２から抽出する（ステップＳ６３）。

例えば図１２に示す例では、ステップＳ５において選択用サムネイル画像ＴＩ１ａがユーザによって指定され、これに対応する色置換サムネイル画像ＴＩ２ａが画像表示領域Ｒ１に表示される。この状態で、ユーザは、例えば操作部１２のマウスを使用してポインタＰを抽出したい色を持つ画素上に配置する。

このとき、ユーザは、ポインタＰが指し示す画素と当該画素の８近傍の画素の持つ色と、ポインタＰが指し示す画素が持つ色の階調値情報とを、拡大表示領域Ｒ３、色表示領域Ｒ４および階調値表示領域Ｒ５等でリアルタイムに確認することができるため、抽出したい色を持つ画素を正確に指定することができる。

なお、色情報抽出画面Ｗ２では、ユーザは、例えば操作部１２の上下左右の方向キーを使用して、拡大表示領域Ｒ３に表示された計９つの画素の色の中から、所望する色を選択することも可能となっている。したがって、ユーザがポインタＰによって抽出したい色を持つ画素の位置を指し示すことが困難な場合であっても、当該画素を容易に指定することができる。なお、上記のような方向キー以外にも、ユーザがポインタＰを拡大表示領域Ｒ３に表示される色の位置に合わせて所定のクリック動作をすることにより、画素を指定する構成としてもよい。

また、拡大表示領域Ｒ３に表示する拡大画素の数は、ここに示したものに限られるものではなく、ポインタＰが指し示す画素の周辺の画素を拡大表示するように構成されればよい。

以上のようにして色置換サムネイル画像ＴＩ２の中から抽出したい色を持つ画素が指定されると、画像処理装置１はこれを認識し、色置換サムネイル画像データＴＩＤ２からＲＧＢの階調値で表現される色情報を抽出する。そして、当該色情報が記述された抽出色情報ＳＣＩは、記憶部１１に格納される。

再び図４に戻って、色情報を抽出すると、画像処理装置１は、彩色処理部２４により、ステップＳ１にて取得した未彩色画像データＭＩＤに対して、抽出色情報ＳＣＩに記述された色情報に基づいて、抽出した色（抽出色）で彩色を実行する（ステップＳ７）。より詳細には、ユーザが所定の操作入力によって、抽出色で彩色したい領域を指定することで、彩色処理部２４が当該領域を抽出色で彩色する。なお、彩色処理された彩色済み画像データＣＩＤ２は、記憶部１１に格納される。

彩色処理を終えると、画像処理装置１は、抽出すべき色が存在するか否かを判定する（ステップＳ８）。この判定は、例えば抽出すべき色があるか否かをユーザに問いかけるウインドウをポップアップ表示し、それに対するユーザの入力に基づいて実行することができる。

色情報をさらに抽出する場合（ステップＳ８にてＹＥＳ）、画像処理装置１は、再びステップＳ５に戻り、以降の動作を繰り返して行う。一方、抽出すべき色情報がない場合（ステップＳ８にてＮＯ）、画像処理装置１は、ユーザからの指示等に基づいて、動作を終了する。

以上のように、本実施の形態における画像処理装置１は、彩色された画像データから色抽出を直接行うことによって、膨大な色情報の登録作業や必要な色情報の検索など、煩雑な色管理を行うことなく、未彩色の画像を彩色することができる。

また、本実施の形態における画像処理装置１は、オリジナルの彩色画像ＣＩ１から色情報を抽出するのではなく、彩色画像ＣＩ１をサムネイル化した画像から色抽出を行うことによって、モニタの表示能力やコンピュータの処理能力の制限をほとんど受けることがないため、操作性に優れており、効率的な彩色処理を実行することができる。また、本実施の形態では、色抽出のための画面を小さく表示することができるため、未彩色の画像を彩色するのに必要なスペースを、表示部１３の画面上に容易に確保することができる。

また、本実施の形態における画像処理装置１は、抽出しない特定色を周辺色に置換した色置換サムネイル画像ＴＩ２を生成することによって、抽出しない特定色を持つ画素を少なくできるとともに、抽出する可能性の高い周辺色を持つ画素を相対的に増加させることができるため、色抽出を容易に行える構成となっている。

＜２． 第２の実施の形態＞
第１の実施の形態では、１種類の彩色画像データＣＩＤ１から１種類の色置換サムネイル画像データＴＩＤ２を生成し、色抽出を行うものとして説明したが、色抽出方法はこれに限られるものではない。なお、第１の実施の形態と同様の構成については、適宜同符号を付し、説明を省略する。

一般に、モノクロのマンガでは、領域の内部に所定パターンの網点が貼付されることによって、その色調が表現されるが、当該網点が貼付された領域内部について、網点とそれ以外の部分を異なる色によって彩色する場合がある。

図１３は、第２の実施の形態における彩色画像ＣＩ１ａを示す図である。図１３に示す彩色画像ＣＩ１ａには、立方体のオブジェクトの一面に網点が貼付された網点領域ＴＲが含まれている。

図１４は、図１３に示す彩色画像ＣＩ１ａに含まれる網点領域ＴＲを示す図である。図１４に示すように、本実施の形態では、網点領域ＴＲのうち、網点をＲＧＢ（２５５，２５５，０）の色（以下、網点色という。）で彩色され、それ以外の部分をＲＧＢ（１００，２５５，０）の色（以下、領域色という。）で彩色を行っている。すなわち、網点領域ＴＲは、複数の色（ここでは２色）の画素を所定の規則で空間的に分布させて色調が表現された特定領域となっている。

ここで、図１３に示すような彩色画像ＣＩ１ａについて、この網点領域ＴＲの網点色、あるいは領域色の抽出を容易にするため、本実施の形態では、色抽出用の画像（色置換サムネイル画像ＴＩ２）を生成する際に、サムネイル化後の網点領域ＴＲに対応する領域（対応領域ＲＲ）を、網点色および領域色のそれぞれで個別に彩色した色置換サムネイル画像データＴＩＤ２が生成される。換言すれば、色置換部２２３は、網点色を領域色に置換した画像と、領域色を網点色に置換した画像とを生成する。

図１５は、図１３に示す彩色画像ＣＩ１ａから生成した色置換サムネイル画像ＴＩ２ｂ，ＴＩ２ｃを示す図である。図１５に示すように、本実施の形態では、色置換部２２３は、彩色画像ＣＩ１ａから、対応領域ＲＲを領域色で彩色した色置換サムネイル画像ＴＩ２ｂを表現するデータと、網点色で彩色した色置換サムネイル画像ＴＩ２ｃを表現するデータとをそれぞれ生成する。

図１６は、色情報抽出画面Ｗ２ａを示す図である。色情報抽出画面Ｗ２ａには、第１の実施の形態における色情報抽出画面Ｗ２に、さらにモード選択するためのモード選択ボタン配置領域Ｒ６が設けられている。

例えば、ユーザがモード１を選択すると、彩色画像ＣＩ１ａをそのまま色置換処理してサムネイル化した色置換サムネイル画像ＴＩ２が画像表示領域Ｒ１に表示される。また、ユーザがモード２を選択すると、図１５に示す色置換サムネイル画像ＴＩ２ｂ（対応領域ＲＲが領域色で彩色された画像。）が表示され、さらにユーザがモード３を選択すると、図１５に示す色置換サムネイル画像ＴＩ２ｃ（対応領域ＲＲが網点色で彩色された画像。）が表示される。

例えば、ユーザが、対応領域ＲＲから領域色を抽出したい場合には、モード２を選択することによって、対応領域ＲＲから領域色を容易に抽出することができる。また、ユーザが網点色を抽出したい場合には、モード３を選択することによって、対応領域ＲＲから色を容易に抽出することができる。

このように、本実施の形態における画像処理装置１は、彩色画像ＣＩ１ａの網点領域ＴＲのような複数の色を所定の規則で分布させて色調で表現した特定領域を対象に、複数の色を予め抽出しておき、サムネイル化部２２が備える色置換部２２３によって、彩色画像データＣＩＤ１から色置換サムネイル画像データＴＩＤ２を生成する際に、当該特定領域に対応する領域を複数の色（あるいは複数の色に含まれる各色）で個別に彩色したサムネイル画像データを生成する。

このように画像処理装置１を構成することによって、ユーザが特定領域から色を抽出したい場合に、各色をミスすることなく容易に抽出することができる。

なお、彩色画像ＣＩ１ａにおける特定領域の設定は、ユーザが予め登録するように構成してもよいし、例えば網点領域ＴＲのような色分布に規則性を持つ領域を自動的に認識して特定領域を設定するように構成してもよい。

また、本実施の形態における画像処理装置１は、上述のような網点が付された領域を特定領域に設定する場合に限らず、例えばグラデーションにより色調が表現された領域を特定領域に設定した場合にも有効である。

＜３． 変形例＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。

例えば、第１の実施の形態では、色置換部２２３が１色の特定色を周辺色に置換する場合を説明したが、これに限られるものではなく、２色以上の特定色を周辺色に置換するものとしてもよい。また、置換する特定色を予めユーザが設定するものではなく、例えば彩色画像ＣＩ１内で比較的濃い色を自動的に特定色に設定するなど、ユーザが条件を設定することで、特定色を設定するように構成してもよい。

また、上記実施の形態では、縮小処理部２２１による彩色画像ＣＩ１の縮小率を一定としているが、もちろんユーザにより適宜変更できるように構成してもよい。

また、上記実施の形態では、彩色画像データＣＩＤ１のそれぞれから色置換サムネイル画像データＴＩＤ２を生成するものとして説明したが、もちろんこれに限られるものではない。例えば、複数の選択用サムネイル画像ＴＩ１の中からユーザが指定した１の画像に対応する彩色画像データＣＩＤ１から、色置換サムネイル画像データＴＩＤ２を生成するように構成してもよい。この場合には、生成する色置換サムネイル画像データＴＩＤ２の数を減らすことができるため、画像処理装置１の処理速度を速めることができる。

また、上記実施の形態では、色置換サムネイル画像ＴＩ２から色抽出を行うものとして説明したが、もちろんこれに限られるものではなく、例えば選択用サムネイル画像ＴＩ１から色抽出を行うように構成してもよい。この場合は、色置換サムネイル画像データＴＩＤ２を生成する必要がなくなるため、画像処理装置１の処理速度を格段に早めることができる。ただし、選択用サムネイル画像ＴＩ１は、抽出を望まない色を保持したままの画像であるため、色抽出のし易さの点では、上記実施の形態の方が有効である。

また、上記実施の形態では、めくり表示により選択用サムネイル画像ＴＩ１を表示していたが、スライドショー的に表示がなされてもよい。また、従来のように、複数の選択用サムネイル画像ＴＩ１を並列的に配置して、ユーザが選択できるように構成してもよい。

また、本発明は、マンガのようなモノクロの画像を彩色する場合に限られるものではなく、その他様々な画像（例えば、写真やイラスト等）の彩色を行う際にも有効である。

また、上記実施形態および各変形例で説明した各構成は、相互に矛盾しない限り適宜組み合わせることができる。

本発明の第１の実施の形態に係る画像処理装置の外観図である。 画像処理装置の構成を示す図である。 画像処理装置の機能ブロックをデータの流れとともに示す図である。 画像処理装置の主な動作の流れを示す図である。 複数ページ分の未彩色画像の例を示す図である。 図５に示す未彩色画像の一部を色づけした彩色画像の例を示す図である。 図６に示す彩色画像を表現する彩色画像データをサムネイル化した選択用サムネイル画像の例を示す図である。 画像処理装置の色置換サムネイル画像データの生成の流れを示す図である。 画像処理装置による、複数の選択用サムネイル画像から色を抽出すべき１の画像を選択する流れを示す図である。 画像選択画面の例を示す図である。 画像処理装置による色置換サムネイル画像からの色情報の抽出の流れを示す図である。 色情報抽出画面の例を示す図である。 第２の実施の形態における彩色画像を示す図である。 図１３に示す彩色画像に含まれる網点領域を示す図である。 図１３に示す彩色画像から生成した色置換サムネイル画像を示す図である。 色情報抽出画面を示す図である。

符号の説明

１ 画像処理装置
１０ ＣＰＵ
１１ 記憶部
１２ 操作部
１３ 表示部
２ プログラム
２１ 画像取得部
２２ サムネイル化部
２２１ 縮小処理部
２２２ 表示用画像データ生成部
２２３ 色置換部
２３ 色情報抽出部
２３１ 表示制御部
ＣＩＤ１ 彩色画像データ
ＣＩＤ２ 彩色済み画像データ
ＣＩ１，ＣＩ１ａ 彩色画像データ
ＤＩＤ 表示用画像データ
ＭＩ 未彩色画像
ＭＩＤ 未彩色画像データ
ＳＣＩ 抽出色情報
ＴＩ１，ＴＩ１ａ，ＴＩ１ｂ 選択用サムネイル画像
ＴＩＤ１ 選択用サムネイル画像データ
ＴＩ２，ＴＩ２ａ，ＴＩ２ｂ，ＴＩ２ｃ 色置換サムネイル画像
ＴＩＤ２ 色置換サムネイル画像データ
ＴＲ 網点領域（特定領域）
Ｗ１ 画像選択画面
Ｗ２，Ｗ２ａ 色情報抽出画面

Claims (7)

1. 彩色画像から色情報を抽出する画像処理装置であって、
   彩色画像を表現する彩色画像データを取得する取得手段と、
   前記彩色画像データについて、サムネイル化することによってサムネイル画像データを生成するサムネイル化手段と、
   前記サムネイル画像データから、所定の操作入力に基づいて、色情報を抽出する色情報抽出手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記サムネイル化手段は、
   前記彩色画像データに含まれる特定色を持つ特定画素について、当該特定色を前記特定画素の周辺に位置する周辺画素の持つ周辺色に置換することによって色置換画像とした後に、サムネイル化することを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記サムネイル化手段は、
   前記彩色画像のうち、複数の色の画素を所定の規則で空間的に分布させて色調を表現した特定領域を対象として、前記彩色画像データから複数の色を抽出するとともに、
   前記特定領域に対応する対応領域を、前記複数の色に含まれる各色で個別に彩色した複数のサムネイル画像データをそれぞれ生成することを特徴とする画像処理装置。
4. 請求項２に記載の画像処理装置であって、
   前記サムネイル化手段は、
   彩色画像をサムネイル化して基準サムネイル画像を生成するとともに、前記彩色画像から得られた前記色置換画像をサムネイル化して色置換サムネイル画像を生成し、
   前記色情報抽出手段は、
   第１操作入力に基づいて、複数の基準サムネイル画像から対象画像を選択した後、第２操作入力に基づいて、前記対象画像に対応する色置換サムネイル画像から色色情報を抽出することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記サムネイル化手段は、
   複数の前記基準サムネイル画像の内容を示すための表示用画像データを生成する表示用画像データ生成手段、
   を含み、
   前記画像処理装置は、
   前記表示用画像データを表示する表示手段、
   をさらに備え、
   前記表示用画像データは、画像をページめくり表示させるためのデータであり、
   前記表示手段は、前記表示用画像データをページめくり表示することを特徴とする画像処理装置。
6. 情報処理装置を使用して彩色画像から色情報を抽出する画像処理方法であって、前記情報処理装置が、
   (a) 前記彩色画像を表現する彩色画像データを取得する工程と、
   (b) 前記(a)工程にて取得した前記彩色画像データについて、サムネイル化することによってサムネイル画像データを生成する工程と、
   (c) 前記(b)工程にて生成したサムネイル画像データから、所定の操作入力に基いて、色情報抽出する工程と、
   を実行することを特徴とする画像処理方法。
7. コンピュータが読み取り可能なプログラムであって、
   前記コンピュータのＣＰＵが前記プログラムをメモリにて実行することにより、前記コンピュータを、
   彩色画像を表現する彩色画像データを取得する取得手段と、
   前記彩色画像データについて、サムネイル化することによってサムネイル画像データを生成するサムネイル化手段と、
   前記サムネイル画像データから、所定の操作入力に基づいて、色情報を抽出する色情報抽出手段と、
   を備える彩色画像から色情報を抽出する画像処理装置として機能させることを特徴とするプログラム。

Images