JP2019133352A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】レタッチ処理を実行する画像処理用のユーザーインターフェースを実現するための技術を提供する。【解決手段】ユーザー入力に応じて画像のレタッチ処理を実行するための画像処理装置は、画像を表す画像データを取得する画像データ取得部と、取得された画像に対してレタッチ処理を実行する色補正部と、取得された画像を表示する第１の表示領域と、レタッチ処理が実行された画像を表示する第２の表示領域とを含む複数の表示領域で画像を表示する操作表示部と、色データベースを管理し、色データベースに登録された色を使用してレタッチ処理に利用可能な色を提供するパレット領域を操作表示部に表示させる色管理部とを備える。【選択図】図１

Description

本発明は、画像を加工及び修正する画像処理技術に関する。

画像処理には、ユーザー入力に応じて写真やイラストを加工・修正するレタッチ処理がある。レタッチ処理では、ユーザーは、元画像内の特定のオブジェクトの色や全体の色調をユーザーが望む色（本明細書では、ユーザー所望色とも呼ばれる。）に変化させることがある。ユーザー所望色は、様々な画像や現実の物体から取得され、調整後に使用されることが多い。レタッチ処理に関する技術としては、たとえば特許文献１は、入力画像を色補正して画像表示部に出力画像を供給する画像色補正装置を提案している。本画像色補正装置は、画像表示部の出力画像から色補正対象となる対象物あるいは対象色を選択し、選択された対象物や対象色の中心色を計算して補正の中心色とし、この中心色を補正することにより出力画像を希望の色に補正することができる。

特開２００４−１１８４４２号公報

しかし、本願発明者は、レタッチ処理を実行する画像処理において、ユーザーインターフェースに大きな改善余地があることを見出した。

本発明は、このような状況に鑑みてなされたものであり、レタッチ処理を実行する画像処理用のユーザーインターフェースを実現するための技術を提供することを目的とする。

本発明は、ユーザー入力に応じて画像のレタッチ処理を実行するための画像処理装置を提供する。前記画像処理装置は、前記画像を表す画像データを取得する画像データ取得部と、前記取得された画像に対してレタッチ処理を実行する色補正部と、前記取得された画像を表示する第１の表示領域と、前記レタッチ処理が実行された画像を表示する第２の表示領域とを含む複数の表示領域で前記画像を表示する操作表示部と、色データベースを管理し、前記色データベースに登録された色を使用して前記レタッチ処理に利用可能な色を提供するパレット領域を前記操作表示部に表示させる色管理部とを備える。

本発明は、ユーザー入力に応じて画像のレタッチ処理を実行するための画像処理方法を提供する。前記画像処理方法は、前記画像を表す画像データを取得する画像データ取得工程と、前記取得された画像に対してレタッチ処理を実行する色補正工程と、前記取得された画像を表示する第１の表示領域と、前記取得された画像を表示する第１の表示領域と、前記レタッチ処理が実行された画像を表示する第２の表示領域とを含む複数の表示領域で前記画像を表示する操作表示工程と、色データベースを管理し、前記色データベースに登録された色を使用して前記レタッチ処理に利用可能な色を提供するパレット領域を前記操作表示工程で表示させる色管理工程とを備える。

本発明は、ユーザー入力に応じて画像のレタッチ処理を実行するための画像処理装置を制御するための画像処理プログラムを提供する。前記画像処理プログラムは、前記画像を表す画像データを取得する画像データ取得部、前記取得された画像に対してレタッチ処理を実行する色補正部、前記取得された画像を表示する第１の表示領域と、前記レタッチ処理が実行された画像を表示する第２の表示領域とを含む複数の表示領域で前記画像を表示する操作表示部、及び色データベースを管理し、前記色データベースに登録された色を使用して前記レタッチ処理に利用可能な色を提供するパレット領域を前記操作表示部に表示させる色管理部として前記画像処理装置を機能させる。

本発明によれば、レタッチ処理を実行する画像処理用のユーザーインターフェースを実現するための技術を提供することができる。

本発明の一実施形態に係る画像処理装置１００の機能構成を示すブロックダイアグラムである。 一実施形態に係る色補正処理手順の内容を示すフローチャートである。 一実施形態に係る画像処理装置１００のユーザーインターフェース画面を示す説明図である。 一実施形態に係る色データベース１４３の内容を示す説明図である。 一実施形態に係るパレット色生成処理の内容をＬａｂ色空間で示す説明図である。 一実施形態に係る色補正処理の内容をユーザーインターフェース画面で示す説明図である。 一実施形態に係る色データベースの登録内容を示す説明図である。 一実施形態に係る色管理方法の一例を示す概念図である。

以下、本発明を実施するための形態（以下、「実施形態」という）を、図面を参照して説明する。

図１は、本発明の一実施形態に係る画像処理装置１００の機能構成を示すブロックダイアグラムである。画像処理装置１００は、ユーザー入力に応じて画像のレタッチ処理を実行することができる。画像処理装置１００は、制御部１１０と、操作表示部１３０と、記憶部１４０と、通信インターフェース部（通信Ｉ／Ｆ部）１５０とを備えている。制御部１１０は、画像解析部１１１と、色補正部１１２と、色管理部１１３と、表示制御部１１４とを有している。画像処理装置１００は、たとえばパーソナルコンピュータにアプリケーションプログラム（画像処理プログラムとも呼ばれる。）をインストールすることによって構成可能である。

操作表示部１３０は、タッチパネルとして機能するディスプレイ１３１と、操作入力部１３２とを有している。ディスプレイ１３１は、ｓＲＧＢ色空間のＲＧＢデータに基づいて画像を表示することができる。操作入力部１３２は、マウスやキーボードを含み、ユーザーからの操作入力を受け付けることができる。操作入力部１３２には、色を取得するためのハンディスキャナーや色取得ペンが含まれてもよい。

制御部１１０は、ＲＡＭやＲＯＭ等の主記憶手段、及びＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の制御手段を備えている。また、制御部１１０は、各種Ｉ／Ｏ、ＵＳＢ（ユニバーサル・シリアル・バス）、バス、その他ハードウェア等のインターフェースに関連するコントローラ機能を備えている。制御部１１０は、それぞれ画像処理装置１００の全体を制御する。

記憶部１４０は、非一時的な記録媒体であるハードディスクドライブやフラッシュメモリー等からなる記憶装置で、制御部１１０が実行する処理の制御プログラムやデータを記憶する。記憶部１４０は、ディスプレイ１３１のカラーマネージメントに使用されるガンマデータ１４１と、ＩＣＣプロファイル１４２とを有している。記憶部１４０は、さらに、ユーザー管理色を管理する色データベース１４３と、色データベース１４３に紐付けられて管理されている色データとを記憶している。

図２は、一実施形態に係る色補正処理手順の内容を示すフローチャートである。ステップＳ１０では、ユーザーは、レタッチ処理の対象となる画像データを取得する。画像データは、たとえば通信インターフェース部１５０を介してＬＡＮ経由で取得することができる。この例では、通信インターフェース部１５０は、制御部１１０とともに画像データ取得部として機能する。

表示制御部１１４は、画像データの色空間をディスプレイ１３１で表示可能なｓＲＧＢ色空間のＲＧＢデータに変換し、ＩＣＣプロファイル１４２を使用して補正し、ガンマデータ１４１を使用してガンマ補正を実行する。これにより、ディスプレイ１３１は、画像データに表されている画像を忠実に表示することができる。

図３は、一実施形態に係る画像処理装置１００のユーザーインターフェース画面を示す説明図である。図３（ａ）は、レタッチ処理の対象となる画像データによって表される画像Ｐを表示している。ユーザーは、レタッチ処理の対象となる画像Ｐを確認し、たとえばＯＫアイコン（図示略）をクリックすることによってレタッチ処理用の画面に切り替えることができる。

ステップＳ２０では、表示制御部１１４は、分割表示処理を実行する。この例では、表示制御部１１４は、ディスプレイ１３１の表示領域を分割し、レタッチ処理前の元画像Ｐ１（オリジナル画像とも呼ばれる。）を表示する固定領域ＺＦと、レタッチ処理中の処理画像（図３（ｂ）の例では元画像Ｐ１）を表示する変動領域ＺＶと、検索ウィンドウＳＷと、パレットウィンドウＰＷと、ファイル選択ウィンドウＦＷとを含む表示を行う。変動領域ＺＶは、パレットウィンドウＰＷやファイル選択ウィンドウＦＷで取得した色を使用してレタッチする画像を表示する領域である。パレットウィンドウＰＷは、レタッチ処理に利用可能な色を提供し、パレット領域とも呼ばれる。

図４は、一実施形態に係る色データベース１４３の内容を示す説明図である。色データベース１４３のカラムには、順にレコード番号、オブジェクト、関連番号、登録日時、最終使用日時及び使用頻度が含まれている。色データベース１４３には、レコード番号０１からレコード番号０９までの９つのレコードが登録順に登録されている。色データベース１４３は、ユーザーが過去に利用した色を有効に再利用可能とするために使用される。

レコード番号は、色管理部１１３によって色が登録された順序に対応する。オブジェクトは、レコードの色がレタッチ処理で利用された描画対象を表すキーワードを示している。これにより、各レコードにキーワードが登録可能となる。関連番号は、各レコード間の色の関連性を示し、関連番号が同一のレコード同士が関連していることを示している。登録日時は、各レコードの登録された日時を表している。最終使用日時は、各レコードの色又はその修正色が最後に使用された日時を表している。使用頻度は、各レコードの登録日時から現在までの期間内の使用回数を登録日時から現在までの期間で除した値を使用してＡ（高使用頻度）乃至Ｃ（不使用）に分類した値である。各レコードには、各色を表す画像データのＵＲＬが登録されている（図示略）。

図３（ｂ）に示されるように、ユーザーがカーソルＣをリンゴの画像上に移動させて指定すると、画像解析部１１１は、リンゴの画像をレタッチ処理の対象画像として認識する。画像解析部１１１は、対象画像を解析して「りんご」の文字列を自動的に生成し、検索用のキーワードとして「りんご」の文字列を検索ウィンドウＳＷに入力する。ユーザーが検索ウィンドウＳＷ内の検索アイコンＳＣをクリックすると、色管理部１１３は、記憶部１４０に記憶されている色データベース１４３を参照してパレットウィンドウＰＷに「りんご」の文字列に関連する色を表示させる。なお、ユーザーは、検索ウィンドウＳＷ内にキーボード等を利用して任意の文字列を検索用のキーワードとして入力することもできる。

この例では、色管理部１１３は、「りんご」の文字列を使用して、色データベース１４３のレコード番号０１と、レコード番号０６とを検出し、パレットウィンドウＰＷに２つのサンプル色を表示する（図３（ｂ）参照）。ユーザーは、色サンプルとしての２つのサンプル色のうちの所望の色に近い色をクリックして選択する。この例では、２つのサンプル色は、たとえばＲＧＢ画像データによって表される色であり、レコード番号０１が選択されたものとする。

図５は、一実施形態に係るパレット色生成処理の内容をＬａｂ色空間で示す説明図である。色管理部１１３は、選択された色を表す画像データの色空間をＲＧＢ色空間からＬａｂ色空間に変換する。Ｌａｂ値は、明度指数であるＬ値と、クロマティクネス指数（図５（ａ）参照）であるａ＊ｂ＊とを有している。Ｌ値は、輝度値として算出することもできる（計算式：Ｙ＝（０．２９８９１２×Ｒ＋０．５８６６１１×Ｇ＋０．１１４４７８×Ｂ）。色相角θは、ａ値とｂ値とで構成されるベクトルの方向を示している。

Ｌａｂ色空間は、人間の視覚感覚に近い尺度（単位）とも言える均等色空間である。均等色空間は、人間の視覚系において心理的に同じ色違いに見える色同士の距離（心理的な距離感で心理的距離とも呼ばれる。）を均等にしてある色立体（色空間に相当する）の空間である。これにより、画像解析部１１１は、Ｌａｂ色空間を利用することによって人間の視覚系を想定した解析を簡易に実行することができる。

ステップＳ３０では、色管理部１１３は、パレットウィンドウＰＷに１５個のサンプル色を明度指数（濃度方向）とクロマティクネス指数（色相角方向）とを使用して２次元的に表示する。中心のサンプル色は、レコード番号０１に紐付けられている色（登録色とも呼ばれる。）である。中心のサンプル色の上側のサンプル色は、所定の心理的距離だけ濃度が高くなるように明度指数が設定されている。中心のサンプル色の下側のサンプル色は、所定の心理的距離だけ濃度が低くなるように明度指数が設定されている。一方、中心のサンプル色の左右のサンプル色は、所定の心理的距離だけ色相角θが変化するようにクロマティクネス指数が設定されている。パレットウィンドウＰＷは、濃度方向と色相角方向にスクロール可能に構成されている。

なお、本実施形態の色管理部１１３は、Ｌａｂ色空間を利用して所定の心理的距離だけ濃度や色相角を変化させて複数のサンプル色を生成しているが、他の方法でも良い。複数のサンプルは、色相、明度及び彩度の少なくとも１つを変化させて生成されたものであればよい。

ステップＳ４０では、ユーザーは、所望色が見つかった場合には、処理をステップＳ６０に進めることができる。一方、所望色が見つからなかった場合には、ユーザーは、ファイル選択ウィンドウＦＷ（図３（ｂ）参照）をクリックして、処理をステップＳ５０に進める。

ステップＳ５０では、色管理部１１３は、新色取得処理を実行する。新色取得処理では、ユーザーは、ファイル選択ウィンドウＦＷを使用して画像処理装置１００の記憶領域（記憶部１４０を含む。）内の任意の画像データを選択可能である。色管理部１１３は、画像データの選択に応じて色抽出対象ウィンドウＥＷに画像データによって表される画像を表示させる（図５（ｂ）参照）。

色抽出対象ウィンドウＥＷは、左側スクロールアイコンＳＬ、右側スクロールアイコンＳＲと、上側アイコンＳＴとを有している。左側スクロールアイコンＳＬ及び右側スクロールアイコンＳＲは、選択されているフォルダー内の画像の切り替えに使用されるアイコンである。上側アイコンＳＴは、選択されているフォルダー内の全画像のサムネイル画像の表示に使用されるアイコンである。

ユーザーは、図５（ｂ）に示されるように、色抽出対象ウィンドウＥＷ内の画像上にカーソルＣを配置してクリックし、カーソルＣの位置の色を取得することができる。色管理部１１３は、取得した色を中心にして、パレットウィンドウＰＷに１５個のサンプル色を表示する（ステップＳ３０）。１５個のサンプル色は、Ｌａｂ色空間で選択された色である。ユーザーは、このような処理（ステップＳ３０〜ステップＳ５０）を繰り返すことによって所望の色を探すことができる。

図６は、一実施形態に係る色補正処理の内容をユーザーインターフェース画面で示す説明図である。ステップＳ６０では、ユーザーは、色選択処理を実行する。色選択処理では、ユーザーは、カーソルＣを使用してパレットウィンドウＰＷ内のサンプル色のパッチをクリックし、所望の色としてサンプル色を選択することができる（図６（ａ）参照）。ユーザーは、選択されたサンプル色を、ＲＧＢや明度指数、クロマティクネス指数といった数値の入力で微調整することもできる。

ステップＳ７０では、ユーザーは、レタッチ処理を実行する。レタッチ処理では、色補正部１１２は、変動領域ＺＶにおいて画像解析部１１１で取得したリンゴの輪郭線の内部の色を選択された色に塗りつぶして変更する（図６（ｂ）参照）。レタッチ処理では、固定領域ＺＦが固定された元画像の参照領域として参照や比較が常時可能であり、変動領域ＺＶでレタッチ処理後の処理画像Ｐ２を確認することができる。レタッチ処理では、色補正部１１２は、選択された色をペンの色として利用することもできる。

これにより、ユーザーは、固定領域ＺＦに表示された元画像Ｐ１を比較・参照しながら変動領域ＺＶでレタッチ処理後の処理画像Ｐ２を対比して確認しつつレタッチ処理を行うことができる。この例では、ユーザーは、さらに、レタッチ処理として「ＡＢＣ」のテキストの色も変更している。

ステップＳ８０では、ユーザーは、保存処理を実行する。保存処理では、ユーザーは、操作入力部１３２を操作してレタッチ後の画像Ｐ２を表す画像データを記憶部１４０に保存する。ステップＳ９０では、色管理部１１３は、レタッチ処理で使用した色を色データベース１４３に登録する。色管理部１１３は、リンゴのレタッチ処理で使用した色と、「ＡＢＣ」のテキストのレタッチ処理で使用した色とを同一の関連番号を使用して色データベース１４３に登録する。

図７は、一実施形態に係る色データベースの登録内容を示す説明図である。ステップＳ９０では、色管理部１１３は、レタッチ後の画像Ｐ２を表す画像データの保存に応じてレコード番号１０のレコード（リンゴのレタッチ処理で使用した色）と、レコード番号１１のレコード（テキストのレタッチ処理で使用した色）とを同一の関連番号００７を使用して同時に登録している。これにより、色管理部１１３は、レコード番号１０及びレコード番号１１のレコードを自動的に関連付けて管理することができる。

図８は、一実施形態に係る色管理方法の一例を示す概念図である。色管理部１１３は、長期に渡って使用されなかった色を削除することができる。図８において、Ｒ，Ｙ，ＬＢ，Ｐ及びＥは、それぞれ赤、黄、水色、ピンク及び空白領域（色データ無し）を示している。図８（ａ）は、水色が長期に渡って使用されなかった例を示している。この例では、色管理部１１３は、最後の利用から所定の不使用期間の経過に応じて水色のレコードを色データベース１４３から削除している。

図８（ｂ）は、点線の枠内の黄と水色が同一の関連番号を有し、所定の長期間内で黄が使用された例を示している。この例では、色管理部１１３は、同一の関連番号を有する複数の色の全てが所定の長期間経過後に削除されるように管理している。この結果、色管理部１１３は、さらに所定の期間経過後に水色よりも先にピンクのレコードを削除している。このように、色管理部１１３は、相互に関係づけられている複数のレコードの全てが不使用期間を経過したときに色データベース１４３から削除するように構成することもできる。この例では、同一の関連番号は、同一の画像ファイルに使用された複数の色のレコードに付されることになる。

このように、本実施形態に係る画像処理装置１００は、ユーザーが所望の色でレタッチ処理を実行する際に、所望の色の取得を容易化し、所望の色の再利用を支援する画像処理用のユーザーインターフェースを提供することができる。これにより、画像処理装置１００は、ユーザーが使用するほどに使いやすくすることができる。

本発明は、上記各実施形態だけでなく、以下のような変形例でも実施することができる。

変形例１：上記実施形態では、表示制御部は、表示領域を分割して固定領域（第１の表示領域とも呼ばれる。）と、変動領域（第２の表示領域とも呼ばれる。）とを表示しているが、たとえばトナーセーブモードで想定される少し薄い画像表示を行う第３の表示領域を表示するようにしてもよい。表示制御部は、固定領域と変動領域とを含む複数の領域で画像を表示するものであればよい。

変形例２：上記実施形態では、色データベースは、誰でも共有して利用可能であるが、たとえばログイン機能を付加して、利用者毎に管理するようにしてもよい。こうすれば、画像処理装置を複数のユーザーで利用する際に、各ユーザーの嗜好にあった色の再利用をきめ細かに支援することができる。

変形例３：上記実施形態では、相互に関係づけられている複数のレコードは、関連番号が同一の同時登録のレコードであるが、たとえば相互に予め設定された範囲内となる時間帯（たとえば同日）に使用（登録を含む。）された複数のレコードを相互に関係づけるようにしてもよい。近似する時間帯や同日には、関連するレタッチ作業を行っている可能性が高いからである。

変形例４：上記実施形態では、パーソナルコンピュータが使用されているが、本発明は、画像処理が可能であればスマートフォンやタブレットといった携帯端末に適用可能である。

１００ 画像処理装置
１１０ 制御部
１３０ 操作表示部
１３１ ディスプレイ
１３２ 操作入力部
１４０ 記憶部
１５０ 通信インターフェース部

Claims (9)

1. ユーザー入力に応じて画像のレタッチ処理を実行するための画像処理装置であって、
   前記画像を表す画像データを取得する画像データ取得部と、
   前記取得された画像に対してレタッチ処理を実行する色補正部と、
   前記取得された画像を表示する第１の表示領域と、前記レタッチ処理が実行された画像を表示する第２の表示領域とを含む複数の表示領域で前記画像を表示する操作表示部と、
   色データベースを管理し、前記色データベースに登録された色を使用して前記レタッチ処理に利用可能な色を提供するパレット領域を前記操作表示部に表示させる色管理部と、
   を備える画像処理装置。
2. 請求項１記載の画像処理装置であって、さらに、
   前記操作表示部で指定されたレタッチ処理の対象画像を解析し、前記対象画像に関連する検索用のキーワードを自動的に生成する画像解析部を備え、
   前記色データベースは、前記各レコードにキーワードを登録可能とし、
   前記色管理部は、前記検索用のキーワードを使用して前記対象画像のレタッチ処理に再利用可能な色を前記パレット領域に表示させる画像処理装置。
3. 請求項２記載の画像処理装置であって、
   前記色管理部は、相互に関係づけられている複数のレコードのいずれかが前記検索用のキーワードで検出された場合には、前記複数のレコードの各色を前記パレット領域に表示させる画像処理装置。
4. 請求項１乃至３のいずれか１項に記載の画像処理装置であって、
   前記色管理部は、予め設定された不使用期間の経過に応じて前記色データベースに登録されているレコードを削除し、相互に関係づけられている複数のレコードについては、前記複数のレコードの全てが前記不使用期間を経過したときに前記色データベースから削除する画像処理装置。
5. 請求項３又は４に記載の画像処理装置であって、
   前記色管理部は、相互に予め設定された範囲内となる時間帯に使用された複数の色を前記相互に関係づけられている複数のレコードとして前記色データベースで管理する画像処理装置。
6. 請求項１乃至５のいずれか１項に記載の画像処理装置であって、
   前記色管理部は、前記色データベースに登録されているレコードの色である登録色と、前記登録色の色相、明度及び彩度の少なくとも１つを変化させた複数のサンプル色を生成し、
   前記操作表示部は、前記生成された複数のサンプル色を前記パレット領域に表示させる画像処理装置。
7. 請求項５記載の画像処理装置であって、
   前記色管理部は、Ｌａｂ色空間における心理的距離を使用して前記複数のサンプル色を生成し、明度指数とクロマティクネス指数とを使用して前記パレット領域に２次元的に表示する画像処理装置。
8. ユーザー入力に応じて画像のレタッチ処理を実行するための画像処理方法であって、
   前記画像を表す画像データを取得する画像データ取得工程と、
   前記取得された画像に対してレタッチ処理を実行する色補正工程と、
   前記取得された画像を表示する第１の表示領域と、前記レタッチ処理が実行された画像を表示する第２の表示領域とを含む複数の表示領域で前記画像を表示する操作表示工程と、
   色データベースを管理し、前記色データベースに登録された色を使用して前記レタッチ処理に利用可能な色を提供するパレット領域を前記操作表示工程で表示させる色管理工程と、
   を備える画像処理方法。
9. ユーザー入力に応じて画像のレタッチ処理を実行するための画像処理装置を制御するための画像処理プログラムであって、
   前記画像を表す画像データを取得する画像データ取得部、
   前記取得された画像に対してレタッチ処理を実行する色補正部、
   前記取得された画像を表示する第１の表示領域と、前記レタッチ処理が実行された画像を表示する第２の表示領域とを含む複数の表示領域で前記画像を表示する操作表示部、及び
   色データベースを管理し、前記色データベースに登録された色を使用して前記レタッチ処理に利用可能な色を提供するパレット領域を前記操作表示部に表示させる色管理部として前記画像処理装置を機能させる画像処理プログラム。