JP2021158588A - 画像処理装置、画像処理システムおよびプログラム - Google Patents

Abstract

【課題】被処理画像の色とそれぞれの色の変更後の色との調整をユーザが行う場合と比較して、予め用意された配色パターンに基づき、被処理画像の配色に反映させることによりユーザの作業を低減することができる画像処理装置、画像処理システム及びプログラムを提供する。【解決手段】表示画面に画像を表示する表示装置と、入力装置と、画像処理装置と、を有する画像処理システム１０において、画像処理装置は、プロセッサを備える。プロセッサは、被処理画像の色分布と予め組として用意された複数の見本色の色分布とを求め、被処理画像の色分布と見本色の色分布との関係に基づき、被処理画像の色を変更する処理を行う。【選択図】図２

Description

本発明は、画像処理装置、画像処理システム、プログラムに関する。

画像コンテンツの配色は、購買意欲の喚起や、ものの売れ行きへ影響する。そのため、例えば、Ｗｅｂデザインやパッケージデザインをはじめ、チラシ、または商品の現物などで、色をどのように組み合わせるかは重要な課題となる。近年、このようなニーズに応えるために、画像コンテンツで使用している配色を分析し、定量化するサービスなども増えており、このようなサービスを活用することで、例えば、売れるデザインを分析したときの画像の色のヒストグラムや、色相・彩度の分布などを分析する試みがなされている。

特許文献１には、モデル画像データ、モデル画像データについての複数個の配色領域データ、及び各配色領域データの各代表色データを格納したモデル画像データベースと、モデル画像データを表示するモデル画像表示部と、各代表色データが貼り付けられた所定の色立体を表示する色立体表示部と、感性語によって各代表色データを変更させる指示をする指示部と、変更指示に従ってモデル画像表示部の表示を変更するとともに、色立体表示部の各代表色データの表示を変更させる制御部とを備える配色シミュレーションシステムが開示されている。
特許文献２には、取得された画像上の配色の分布を解析し、色の定義に関する情報を具備する色特性データベースを設け、解析した配色について、色差を解析することによって、上記解析した配色を配色タイプに分類し、上記色差を解析するための情報を具備する色差解析情報データベースを設け、上記分類した配色タイプに応じて、色差を変更することによって、上記取得された画像上の配色を変換し、上記色差の変更に関する規則を具備する変換規則データベースを設け、配色が変換された結果を出力する配色変換装置が開示されている。

特開２０１１−２４８６４１号公報 特開２０１１−８６０９２号公報

一方、画像に使用している色の分析をしなくても、人が好ましく感じる配色の基本ルールや調和の理論などが存在する。よって、このような人の認知メカニズムを参照に配色に適用することもできる。例えば、色相の似ている色を組み合わせる類似の調和または、同じ色相を使う同一の調和、高彩度の補色によりお互いの鮮やかさを引き立てあう対比の調和などを実現することができる。
しかしながら、好ましい配色パターンや調和の理論はあっても、実際にさまざまな画像へ適用しようとした場合は、画像の中の１つ１つの構成要素やオブジェクトに対し、色を変える、または置き換えるといった地道な作業が必要となる。そして、全体の調和バランスを考えながらの調整などを含むと、表現したい状態にするまでに多くの作業を必要とする。
本発明は、被処理画像の色とそれぞれの色の変更後の色との調整をユーザが行う場合と比較して、 予め用意された配色パターンに基づき、被処理画像の配色に反映させることによりユーザの作業を低減することができる画像処理装置等を提供することを目的とする。

請求項１に記載の発明は、プロセッサを備え、前記プロセッサは、被処理画像の色分布と予め組として用意された複数の見本色の色分布とを求め、 前記被処理画像の色分布と前記複数の見本色の色分布との関係に基づき、前記被処理画像の色を変更する処理を行うことを特徴とする画像処理装置である。
請求項２に記載の発明は、前記プロセッサは、画像を表示する表示装置に、前記被処理画像と前記複数の見本色の画像とを並べて表示させ、ユーザが選択した前記複数の見本色を基に、前記処理を行うことを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記複数の見本色の画像は、当該複数の見本色をカラーバーまたはカラーブロックにて表示するものであることを特徴とする請求項２に記載の画像処理装置である。
請求項４に記載の発明は、前記複数の見本色の画像は、各見本色が占める面積により、前記処理を行うときの、当該各見本色を反映させる際の重みを表すことを特徴とする請求項２に記載の画像処理装置である。
請求項５に記載の発明は、前記面積は、ユーザが変更可能であることを特徴とする請求項４に記載の画像処理装置である。
請求項６に記載の発明は、前記各見本色の他に、ユーザがさらに色を追加可能であることを特徴とする請求項２に記載の画像処理装置である。
請求項７に記載の発明は、前記プロセッサは、画像の印象を表す用語を受け付け、前記用語を基に前記複数の見本色を取得することを特徴とする請求項１に記載の画像処理装置である。
請求項８に記載の発明は、前記プロセッサは、前記用語と前記複数の見本色とを予め定められた感性に応じ関連付けられて記憶する記憶手段から、当該複数の見本色を取得することを特徴とする請求項７に記載の画像処理装置である。
請求項９に記載の発明は、前記プロセッサは、ユーザが、前記被処理画像の中で前記処理を行う領域を指定した結果を受け付けることを特徴とする請求項１に記載の画像処理装置である。
請求項１０に記載の発明は、前記プロセッサは、前記複数の見本色のそれぞれについて、重み付けをして前記処理を行うことを特徴とする請求項１に記載の画像処理装置である。
請求項１１に記載の発明は、前記プロセッサは、前記処理として、前記複数の見本色の中で、前記被処理画像に最も高頻度で含まれる色に最も近い色について他の色より大きい重み付けをすることを特徴とする請求項１０に記載の画像処理装置である。
請求項１２に記載の発明は、前記プロセッサは、前記処理として、前記重み付けに応じ、前記被処理画像の特徴量を前記複数の見本色の特徴量に合わせ調整することを特徴とする請求項１０に記載の画像処理装置である。
請求項１３に記載の発明は、前記特徴量は、前記被処理画像および前記複数の見本色の平均および散布度であることを特徴とする請求項１２に記載の画像処理装置である。
請求項１４に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される被処理画像に対し画像処理を行う画像処理装置と、を備え、前記画像処理装置は、プロセッサを備え、前記プロセッサは、前記被処理画像の色分布と予め組として用意された複数の見本色の色分布とを求め、 前記被処理画像の色分布と前記複数の見本色の色分布との関係に基づき、当該被処理画像の色を変更する処理を行うことを特徴とする画像処理システムである。
請求項１５に記載の発明は、コンピュータに、被処理画像の色分布と予め組として用意された複数の見本色の色分布とを求める機能と、 前記被処理画像の色分布と前記複数の見本色の色分布との関係に基づき、当該被処理画像の色を変更する処理を行う機能と、を実現させるためのプログラムである。

請求項１の発明によれば、被処理画像の色とそれぞれの色の変更後の色との調整をユーザが行う場合と比較して、 予め用意された配色パターンに基づき、被処理画像の配色に反映させることによりユーザの作業を低減することができる画像処理装置を提供することができる。
請求項２の発明によれば、ユーザは、被処理画像と見本色とが表示された画面を見ながら色調整を行うことができる。
請求項３の発明によれば、見本色の組み合わせを、ユーザが把握するのを容易にすることができる。
請求項４の発明によれば、各見本色の重みを、ユーザが把握するのを容易にすることができる。
請求項５の発明によれば、各見本色の重みを、ユーザが設定するのを容易にすることができる。
請求項６の発明によれば、見本色を、ユーザが設定することができる。
請求項７の発明によれば、用語に結びつけられた印象に応じた色調整を行うことができる。
請求項８の発明によれば、用語として、ユーザの感性に対応したものを取得しやすくなる。
請求項９の発明によれば、色調整を行う領域を、ユーザが選択することができる。
請求項１０の発明によれば、被処理画像に合わせて重み付けを設定することができる。
請求項１１の発明によれば、被処理画像の配色に合わせた重み付けを行うことができる。
請求項１２、１３の発明によれば、色調整の処理がより容易になる。
請求項１４の発明によれば、被処理画像の色とそれぞれの色の変更後の色との調整をユーザが行う場合と比較して、 予め用意された配色パターンに基づき、被処理画像の配色に反映させることによりユーザの作業を低減することができる画像処理システムを提供することができる。
請求項１５の発明によれば、被処理画像の色とそれぞれの色の変更後の色との調整をユーザが行う場合と比較して、 予め用意された配色パターンに基づき、被処理画像の配色に反映させることによりユーザの作業を低減することができる機能をコンピュータにより実現できる。

本実施の形態における画像処理システムの構成例を示す図である。 第１の実施形態における画像処理装置の機能構成例を示したブロック図である。 （ａ）〜（ｃ）は、配色画像の例を示した図である。 配色画像の他の例を示した図である。 （ａ）〜（ｂ）は、各見本色の重み付けを、面積の大小として表示する場合について示した図である。 色調整を行う際に表示装置の表示画面に表示される画面の第１の例を示した図である。 色調整を行う際に表示装置の表示画面に表示される画面の第２の例を示した図である。 第２の実施形態における画像処理装置の機能構成例を示したブロック図である。 （ａ）〜（ｂ）は、感性用語と複数の見本色からなる配色画像との関係を示した図である。 嗜好モデルと配色画像とを関連付けた例として他の例を示した図である。 マップ上で、ユーザが、感性用語を選択するときに行われる処理の第１の例について示した図である。 マップ上で、ユーザが、感性用語を選択するときに行われる処理の第２の例について示した図である。 マップ上で、ユーザが、感性用語を選択するときに行われる処理の第３の例について示した図である。 マップ上で、ユーザが、感性用語を選択するときに行われる処理の第４の例について示した図である。 マップ上で、ユーザが、感性用語を選択するときに行われる処理の第５の例について示した図である。 （ａ）〜（ｂ）は、新たなカラーバーを生成した例を示した図である。 第３の実施形態における画像処理装置の機能構成例を示したブロック図である。 マスクの第１の例について示した図である。 図１８のマスクを使用して色調整を行った結果を示した図である。 マスクの第２の例について示した図である。 図１８および図２０のマスクを使用して色調整を行った結果を示した図である。 配色画像を選択する際に表示装置の表示画面に表示される画面の第１の例を示した図である。 配色画像を選択する際に表示装置の表示画面に表示される画面の第２の例を示した図である。 配色画像Ｍを選択する際に表示装置の表示画面に表示される画面の第３の例を示した図である。 画像処理システムの動作について説明したフローチャートである。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜画像処理システム全体の説明＞
図１は、本実施の形態における画像処理システム１の構成例を示す図である。
図示するように本実施の形態の画像処理システム１は、表示装置２０に表示される画像の画像情報に対し画像処理を行う画像処理装置１０と、画像処理装置１０により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置２０と、画像処理装置１０に対しユーザが種々の情報を入力するための入力装置３０とを備える。

画像処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、画像処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。

画像処理装置１０は、演算手段であるＣＰＵと、記憶手段であるメインメモリ、およびＨＤＤやＳＳＤ（Solid State Drive）等のストレージを備える。ここで、ＣＰＵは、プロセッサの一例であり、ＯＳ（基本ソフトウェア）やアプリケーションソフトウェア（応用ソフトウェア）等の各種ソフトウェアを実行する。また、メインメモリは、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、ストレージは、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置１０は、外部との通信を行うための通信インタフェース（以下、「通信Ｉ／Ｆ」と表記する）と、キーボード、マウス、タッチパネル、スタイラスペン等の入力デバイスとを備える。

表示装置２０は、表示画面２１に画像を表示する。表示装置２０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置２０における表示方式は、液晶方式に限定されるものではない。なお、図１に示す例では、表示装置２０内に表示画面２１が設けられているが、表示装置２０として例えばプロジェクタを用いる場合、表示画面２１は、表示装置２０の外部に設けられたスクリーン等となる。

入力装置３０は、キーボードやマウス等で構成される。入力装置３０は、画像処理を行うためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、画像処理を行う際に、ユーザが画像処理装置１０に対し画像処理を行うための指示を入力するのに使用する。

画像処理装置１０および表示装置２０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ−２３２Ｃ等を介して接続されていてもよい。

詳しくは後述するが、本実施の形態では、被処理画像の色分布を見本色の色分布に合わせる画像処理が行われる。これにより、見本色の配色が被処理画像の配色に反映され、被処理画像の印象を見本色の印象に近いものとなる。
このような画像処理システム１において、表示装置２０には、まず最初に画像処理を行う前の画像である被処理画像、および見本色が表示される。そしてユーザが入力装置３０を使用して、画像処理装置１０に対し画像処理を行うための指示を入力すると、画像処理装置１０により被処理画像の画像情報に対し画像処理がなされる。この画像処理の結果は、表示装置２０に表示される画像に反映され、画像処理後の被処理画像の画像が描画されて表示装置２０に表示されることになる。この場合、ユーザは、表示装置２０を見ながら画像処理を行うことができる。

なお本実施の形態における画像処理システム１は、図１の形態に限られるものではない。例えば、画像処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行うとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置２０および入力装置３０として機能する。また同様に表示装置２０および入力装置３０を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置２０の表示画面２１としてタッチパネルを使用したものである。この場合、画像処理装置１０により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行うための指示を入力する。

既存の技術では、例えば、よい画像の特徴となる分布を解析し、定量化したデータとする。この場合、ユーザは、定量化したデータとして参考にすることができても、その特徴を別の画像に反映し、画像の印象を再現できるものではなかった。
また、既存の技術では、直感的な操作が行えるシステム、または、ＨＴＭＬの色コードを効率的に置き換えるなどの手法を取る場合がある。この場合、部分的に厳密に配色対象となる複数の領域を定めて、対象となる領域の色を変更し、その組み合わせに対して、感性と色の対応データベースなどが支援するという仕組みであった。
そこで、本実施の形態では、画像の印象を表す複数の見本色を予め用意し、被処理画像の画質を、この見本色に反映させる処理を行う。
以下、これを実現するための画像処理装置１０の説明を行う。

＜画像処理装置１０の構成の説明＞
［第１の実施形態］
まず、第１の実施形態について説明を行う。
第１の実施形態では、配色パターンが予め用意され、ユーザがこの配色画像を選択すると、この配色画像の配色が被処理画像の配色に反映される。

図２は、第１の実施形態における画像処理装置１０の機能構成例を示したブロック図である。
図示するように画像処理装置１０は、被処理画像を取得する被処理画像取得部１１と、配色画像を取得する配色画像取得部１２と、被処理画像および配色画像の色分布を解析する色分布解析部１３と、配色画像の配色を被処理画像の配色に反映させる色調整部１４と、表示装置２０で表示する表示画像を作成する表示画像作成部１５とを備える。

被処理画像取得部１１は、被処理画像を取得する。本実施の形態で、被処理画像とは、画像処理として色調整を行う対象となる画像である。被処理画像は、ユーザが、色調整を行う画像を選択することで決定され、被処理画像取得部１１は、ユーザが選択した被処理画像を取得する。

配色画像取得部１２は、配色画像を取得する。本実施の形態で、配色画像とは、予め組として用意された複数の見本色からなる画像である。また、複数の見本色は、予め定められた複数の色の組である。よって、配色画像は、予め定められた配色パターンを有する、と言うこともできる。
そして、この見本色の組み合わせは、例えば、「寒い（ＣＯＯＬ）」、「暖か（ＷＡＲＭ）」、「やさしい（ＳＯＦＴ）」、「硬い（ＨＡＲＤ）」など特定の印象と結びつけられたものとなっている。この組み合わせは、例えば、これらの印象を有する画像に使用されやすい複数の色が選択される。また、これらの印象に結びつく色として、経験的に選択されたものであってもよい。
配色画像取得部１２についても、ユーザが、選択することで決定され、配色画像取得部１２は、ユーザが選択した配色画像を取得する。

図３（ａ）〜（ｃ）は、配色画像の例を示した図である。
ここでは、配色画像Ｍを、カラーバーＣｂａで表示した場合を示している。このカラーバーＣｂａは、複数の見本色Ｍｃを一方向に向かい順に並べて表示するものであり、例示したカラーバーＣｂａは、それぞれ３つの見本色Ｍｃ１〜Ｍｃ３を並べたものとなっている。
このように、配色画像Ｍを、カラーバーＣｂａで表示することで、ユーザが直感的に理解しやすくなる。

色分布解析部１３は、被処理画像の色分布と配色画像Ｍの色分布とを求める。色分布は、被処理画像や配色画像Ｍの特徴量であると考えることができる。画像を構成する色成分毎の平均、散布度、ヒストグラム等で表すことができる。ここでは、色分布として、平均の一例である相加平均および散布度の一例である標準偏差を使用する。

色分布解析部１３は、まず、表示装置２０で被処理画像および配色画像Ｍを表示するための画像情報（入力画像データ）に対し、色変換を行う。画像情報は、この場合、ＲＧＢ(Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ)のビデオデータ(ＲＧＢデータ)である。そして、ＲＧＢデータを例えば、Ｌαβデータに変換する。即ち、ＲＧＢ色空間の色度をＬαβ色空間の色度に変換する。Ｌαβ色空間は、自然画像に対するＬＭＳ錯体応答性を主成分分析することで、統計的に直交するように設計された色空間であり、人の知覚を基に考案された色空間である。この場合、Ｌ、α、βは、それぞれ明度（Ｌ）、黄−青軸（α）、赤−緑軸（β）に対応する。
ここでは、被処理画像の画素値を、（Ｌ_ｓ、α_ｓ、β_ｓ）とし、配色画像Ｍの画素値を、（Ｌ_ｔ、α_ｔ、β_ｔ）とする。

色分布解析部１３は、被処理画像の画素値である（Ｌ_ｓ、α_ｓ、β_ｓ）の相加平均、および配色画像Ｍの画素値である（Ｌ_ｔ、α_ｔ、β_ｔ）の相加平均を算出する。これらは、下記数１式で表される、数１式で上側の式は、（Ｌ_ｓ、α_ｓ、β_ｓ）の相加平均であり、下側の式は、（Ｌ_ｓ、α_ｓ、β_ｓ）の相加平均である。

また、色分布解析部１３は、被処理画像の画素値である（Ｌ_ｓ、α_ｓ、β_ｓ）の標準偏差（σ_ｓ、Ｌ、σ_ｓ、α、σ_ｓ、β）、および配色画像Ｍの画素値である（Ｌ_ｔ、α_ｔ、β_ｔ）の標準偏差（σ_ｔ、Ｌ、σ_ｔ、α、σ_ｔ、β）を算出する。

図２に戻り、色調整部１４は、配色画像Ｍの配色を被処理画像の配色に反映させる色調整を行う。ここでは、色調整部１４は、被処理画像の色分布と見本色Ｍｃの色分布との関係に基づき、被処理画像の色を変更する処理を行う。
具体的には、被処理画像の画素値（Ｌ_ｓ、α_ｓ、β_ｓ）を、色変換後の画素値（Ｌ_Ｏ、α_Ｏ、β_Ｏ）とするのに、上述した、相加平均および標準偏差を用い、以下の数２式を用いて行う。

表示画像作成部１５は、色調整部１４により色調整がなされた後の画像情報を作成し、出力する。色調整がなされた後の画像情報は、表示装置２０に送られる。そして表示装置２０にてこの画像情報に基づき画像が表示される。

以上の処理により、配色画像Ｍの配色を被処理画像の配色に反映させることができる。これにより、被処理画像の印象を配色画像Ｍに基づく印象に変更する色調整を行うことができる。本実施の形態では、色分布解析部１３および色調整部１４において、ＲＧＢ色空間の色度で表現された画像情報を、Ｌαβ色空間に変換し、Ｌαβ色空間の色度を用いて処理を行う場合として説明したが、これに限定されるものではなく、ＲＧＢ色空間からＲＧＢ色空間への変換や、Ｌ^＊ａ^＊ｂ^＊色空間の色度を用いた処理として構成するようにしてもよい。

なお、配色画像Ｍは、図３に示した場合に限られるものではない。
図４は、配色画像Ｍの他の例を示した図である。
ここでは、配色画像Ｍを、カラーブロックＣｂｒで表示した場合を示している。このカラーブロックＣｂｒは、複数の見本色Ｍｃを縦横に組み合わせて表示するものであり、例示したカラーブロックＣｂｒは、それぞれ４つの見本色Ｍｃ１〜Ｍｃ４を組み合わせたものとなっている。

また、見本色Ｍｃを配色画像Ｍとして表示せず、画像情報として、ユーザに提示することもできる。この場合、表示装置２０の表示画面２１に、例えば、ＲＧＢ＝（０、５０、１００）、（５０、５０、２００）、（２００、１００、０）のような画像情報を表示する。

また、配色画像Ｍの配色を被処理画像の配色に反映させる際に、配色画像Ｍを構成する複数の見本色Ｍｃのそれぞれについて、重み付けをして色調整を行うようにしてもよい。このとき、例えば、複数の見本色Ｍｃの中で、被処理画像に最も高頻度で含まれる色に最も近い色について他の色より大きい重み付けをすることができる。この場合、色調整後の画像がより自然となりやすい。

また、各見本色Ｍｃの重み付けは、予め定められていてもよい。そして、重みを面積の大小として表した配色画像Ｍを表示することもできる。複数の見本色Ｍｃの画像は、各見本色Ｍｃが占める面積により、上記処理を行うときの、各見本色Ｍｃを反映させる際の重みを表す。この場合、ユーザは、重み付けを直感的に把握することができる。

図５（ａ）〜（ｂ）は、各見本色Ｍｃの重み付けを、面積の大小として表示する場合について示した図である。
このうち、図５（ａ）は、カラーバーＣｂａの場合について示している。この場合、見本色Ｍｃ１〜Ｍｃ３は、見本色Ｍｃ１の重みが最も小さく、見本色Ｍｃ３の重みが最も大きく、見本色Ｍｃ２の重みは、これらの中間であることを表している（Ｍｃ１＜Ｍｃ２＜Ｍｃ３）。
また、図５（ｂ）は、カラーブロックＣｂｒの場合について示している。この場合、見本色Ｍｃ１〜Ｍｃ４の重みは、Ｍｃ４＜Ｍｃ１＜Ｍｃ２＜Ｍｃ３であることを表している。
なお、これらの面積を、ユーザが変更可能とし、これに応じて重みを変更できるようにしてもよい。また、予め用意された各見本色Ｍｃの他に、ユーザがさらに色を追加可能であるようにしてもよい。

図６は、色調整を行う際に表示装置２０の表示画面２１に表示される画面の第１の例を示した図である。
図示する画面は、図中左側に、被処理画像Ｈが表示される。また、図中中央に、図３（ｂ）で示した配色画像Ｍが表示される。これらの被処理画像Ｈおよび配色画像Ｍは、ユーザが選択できる。そして、図中右側に色調整後の被処理画像Ｈ’が表示される。
このように、本実施の形態では、画像を表示する表示装置２０に、被処理画像Ｈと複数の見本色Ｍｃの画像である配色画像Ｍとを並べて表示し、ユーザが選択した配色画像Ｍを基に、色調整を行う。

また、図７は、色調整を行う際に表示装置２０の表示画面２１に表示される画面の第２の例を示した図である。
図示する画面における被処理画像Ｈ、配色画像Ｍ、色調整後の被処理画像Ｈ’の配置は、図６の場合と同様である。だだし、配色画像Ｍが、図５（ａ）で示したものに変更され、上述した重み付けをした色調整がなされる。その結果、図６とは異なる色調整がなされた色調整後の被処理画像Ｈ’が表示される。

［第２の実施形態］
次に、第２の実施形態について説明を行う。
第２の実施形態では、ユーザに画像の印象を表す感性用語を選択させ、この用語を基に複数の見本色Ｍｃを取得する。

図８は、第２の実施形態における画像処理装置１０の機能構成例を示したブロック図である。
図示するように画像処理装置１０は、図２に図示する画像処理装置１０に比較して、用語変換部１６が加わる点で異なる。そして、他の被処理画像取得部１１、配色画像取得部１２、色分布解析部１３、色調整部１４、表示画像作成部１５の機能は、双方とも同様である。よって、以下、用語変換部１６について中心に説明を行う。

用語変換部１６は、ユーザが選択した感性用語を複数の見本色Ｍｃに変換する。感性用語は、用語の一例であり、画像等に対する印象を表現する言葉である。この場合、感性用語と複数の見本色Ｍｃとは、予め定められた感性に応じ関連付けられ、この関係を記憶する記憶手段に格納される。この記憶手段は、画像処理装置１０が備えてもよく、例えば、クラウドサーバ等の外部装置が備え、用語変換部１６が、ここから取得してもよい。

図９（ａ）〜（ｂ）は、感性用語Ｋｙと複数の見本色Ｍｃからなる配色画像Ｍとの関係を示した図である。
このうち、図９（ａ）は、嗜好モデルについて図示している。
嗜好モデルとは、人の好みや何らかの対象物に対して保有するイメージを類型化したものである。ここでは、嗜好モデルとして、富士ゼロックス テクニカルレポートＮｏ．２３ ２０１４の「嗜好モデルを活用した消費者理解とデザイン支援」に掲載のものを例示して挙げている。この嗜好モデルは、このイメージを、ＷＡＲＭ←→ＣＯＯＬ、ＳＯＦＴ←→ＨＡＲＤの２軸の直行座標で形成されたマップＭｐで表現する、そして、このマップＭｐ上に、「可憐」、「ロマンチック」、「キュート」などの感性用語Ｋｙを配置する。即ち、これらの感性用語Ｋｙが配置される位置は、これらの感性用語Ｋｙと嗜好モデルが表すイメージとが合致した箇所となる。なお、上記２軸は、どのような基準で決めてもよい。

図９（ｂ）は、嗜好モデルと配色画像Ｍとを関連付けた図である。
この場合、嗜好モデルを表すマップＭｐ上に、感性用語Ｋｙと対応して配色画像Ｍが配される。図９（ｂ）の関係を利用することで、ユーザが選択した感性用語Ｋｙに対応する複数の見本色Ｍｃを取得することができる。

図１０は、嗜好モデルと配色画像Ｍとを関連付けた例として他の例を示した図である。
ここでは、感性用語Ｋｙとして、「穏やかな感じの」と、「○○な印象の」に対し、配色画像Ｍが対応する例を示している。このうち、「穏やかな感じの」については、配色画として１つのカラーバーＣｂａ１が対応する。対して、「○○な印象の」については、配色画像Ｍとして２つのカラーバーＣｂａ２、Ｃｂａ３が対応する。このように、１つの感性用語Ｋｙに対し、複数の配色画像Ｍが対応してもよい。そして、複数の配色画像Ｍを使用して、色調整が行われる。
なお、図９（ｂ）に示したような配色画像Ｍは、ユーザに提示する必要は、必ずしもなく、図９（ａ）の嗜好モデルだけを提示してもよい。

そして、ユーザが、マップＭｐ上で、これらの感性用語Ｋｙの何れかを選択すると、配色画像Ｍが確定し、色調整がなされる。
図１１は、マップＭｐ上で、ユーザが、感性用語Ｋｙを選択するときに行われる処理の第１の例について示した図である。
ここでは、感性用語ＫｙがマップＭｐ上で占める領域を、タッチすることで選択を行う。この領域を図１１では、点線で示している。また、図示する例では、配色画像Ｍは表示されず、マップＭｐ上の「○○のような」の箇所をタッチした場合を示している。なお、感性用語ＫｙがマップＭｐ上で占める領域内の位置により、配色画像Ｍを構成する複数の見本色Ｍｃのそのぞれの重みを決定し、上述した重み付けをした色調整を行うこともできる。

図１２は、マップＭｐ上で、ユーザが、感性用語Ｋｙを選択するときに行われる処理の第２の例について示した図である。
ここでは、図１０で示したような、２つのカラーバーＣｂａ２、Ｃｂａ３のように複数の配色画像Ｍが表示されるときに、それぞれの配色画像Ｍにより、色調整を行った後の被処理画像Ｈ１’、および被処理画像Ｈ２’を、ユーザに提示する場合を示している。そして、ユーザは、この２つの画像の何れかを選ぶことが可能である。

図１３は、マップＭｐ上で、ユーザが、感性用語Ｋｙを選択するときに行われる処理の第３の例について示した図である。
ここでは、配色画像Ｍとして、２つのカラーバーＣｂａ４、Ｃｂａ５が表示されるときに、ユーザが何れかを選べる場合を示している。複数の配色画像Ｍは、予め表示されていてもよく、ユーザがタッチしたときに表示するようにしてもよい。

図１４は、マップＭｐ上で、ユーザが、感性用語Ｋｙを選択するときに行われる処理の第４の例について示した図である。
ここでは、マップＭｐ中に、複数の見本色Ｍｃから構成される配色画像Ｍではなく、１つの見本色Ｍｃから構成される配色画像Ｍが含まれる場合を示している。つまり、この配色画像Ｍは、単色であり、例えば、セピア調などの色調と紐付けることができる。またこの場合、上述した相加平均および標準偏差を求めるときは、この単色画像が、多少のグラデ−ションを有するようにすることで、計算を行うことができる。また、単純にこの単色の色度を適用するようにしてもよい。

図１５は、マップＭｐ上で、ユーザが、感性用語Ｋｙを選択するときに行われる処理の第５の例について示した図である。
ここでは、「○○のような」と「○○な印象の」の２つの感性用語Ｋｙを選択した場合を示している。
この場合、図１６（ａ）に示すように、２つの感性用語Ｋｙに対応する配色画像ＭであるカラーバーＣｂａ６およびカラーバーＣｂａ７について、それぞれの見本色Ｍｃ５、Ｍｃ６、Ｍｃ７、および見本色Ｍｃ８、Ｍｃ９、Ｍｃ１０の間で、平均を求め、新たなカラーバーＣｂａ８を生成した例を示している。ここでは、見本色Ｍｃ５と見本色Ｍｃ８との平均、見本色Ｍｃ６と見本色Ｍｃ９との平均、見本色Ｍｃ７と見本色Ｍｃ１０との平均を、それぞれ求めている。その結果、見本色Ｍｃ１１、Ｍｃ１２、Ｍｃ１３が生成する。なお、カラーバーＣｂａ６、Ｃｂａ７を構成する、それぞれの見本色Ｍｃ５、Ｍｃ６、Ｍｃ７は、重みを付けずに平均を求めている。ただし、重みを付けて加重平均を求めるようにしてもよい。
また、図１６（ｂ）に示すように、カラーバーＣｂａ６、Ｃｂａ７を構成する見本色Ｍｃ５、Ｍｃ６、Ｍｃ７、Ｍｃ８、Ｍｃ９、Ｍｃ１０を、単に連結して、新たなカラーバーＣｂａ９を生成してもよい。この場合、カラーバーＣｂａ９は、６つの見本色Ｍｃよりなる。

［第３の実施形態］
次に、第３の実施形態について説明を行う。
第３の実施形態では、ユーザが、被処理画像Ｈの中で色調整を行いたい領域を指定できる。

図１７は、第３の実施形態における画像処理装置１０の機能構成例を示したブロック図である。
図示するように画像処理装置１０は、図２に図示する画像処理装置１０に比較して、領域指定部１７が加わる点で異なる。そして、他の被処理画像取得部１１、配色画像取得部１２、色分布解析部１３、色調整部１４、表示画像作成部１５の機能は、双方とも同様である。よって、以下、領域指定部１７について中心に説明を行う。

領域指定部１７は、ユーザの指示により、被処理画像Ｈの中で色調整を行いたい領域または色調整を行いたくない領域を指定する。つまり、ユーザが、被処理画像Ｈの中で色調整を行いたい領域を指定したときは、この領域については、色調整がされるが、他の領域については、色調整がされない。また、ユーザが、被処理画像Ｈの中で色調整を行いたくない領域を指定したときは、この領域については、色調整がされないが、他の領域については、色調整がされる。ここでは、このうち後者について説明を行うが、前者についても色調整がされる領域とされない領域が逆になるだけで、同様の処理が適用できる。

ユーザが、被処理画像Ｈの中で色調整を行いたくない領域を指定する場合、例えば、表示画面２１に表示された被処理画像Ｈに対し、マウス等の入力装置３０を用いて、この領域を指定する。そして、領域指定部１７は、ユーザが指定した領域について、マスクを生成する。

図１８は、マスクの第１の例について示した図である。また、図１９は、図１８のマスクを使用して色調整を行った結果を示した図である。
図１８で示すマスクＭａ１は、図１９の図中左側の被処理画像Ｈに対し適用されるものである。この場合、マスクＭａ１は、被処理画像Ｈの背景領域Ｂｋについて、色調整を行わないようにする。そして、その結果、図中右側の色調整後の被処理画像Ｈ’は、背景領域Ｂｋについては、色調整がされず、他の領域は、色調整がされる。

図２０は、マスクの第２の例について示した図である。また、図２１は、図１８および図２０のマスクを使用して色調整を行った結果を示した図である。
図２０で示すマスクＭａ２は、図２１の図中左側の被処理画像Ｈに対し適用されるものである。この場合、マスクＭａ２は、被処理画像Ｈの文字領域Ｍｊについて、適用される。そして、文字領域Ｍｊに色調整を行わないようにすることができる。一方、図２０に示したマスクＭａ２を使用することで、文字領域Ｍｊに対し、直接指定した色にするなど、他の領域と異なる色調整を行うこともできる。図２１に示した色調整後の被処理画像Ｈ’は、マスクＭａ１を使用することで、図１９と同様の色調整を行うとともに、マスクＭａ２を使用することで文字領域Ｍｊについては、他の領域と異なる色調整を行ったことを示している。

［第４の実施形態］
次に、第４の実施形態について説明を行う。
第４の実施形態では、実際に色調整を行う際のユーザインタフェース（ＵＩ）について説明を行う。

図２２は、配色画像Ｍを選択する際に表示装置２０の表示画面２１に表示される画面の第１の例を示した図である。
ここでは、表示画面２１の上部左側に被処理画像Ｈ（ここでは、原画像として図示）が表示され、表示画面２１の上部右側に色調整後の被処理画像Ｈ’ （ここでは、再現画像として図示）が表示される。そして、表示画面２１の下部には、感性用語Ｋｙの一覧が表示される。そして、ユーザがラジオボタンＲｂを押下すると、何れかの感性用語Ｋｙが選択でき、これに対応した配色画像Ｍが選択される。なお、ここでは、配色画像Ｍは、表示されない。また、ラジオボタンＲｂではなく、チェックボタンであってもよい。

図２３は、配色画像Ｍを選択する際に表示装置２０の表示画面２１に表示される画面の第２の例を示した図である。
ここでは、図２２の場合と比較して、表示画面２１の下部に、配色画像ＭであるカラーバーＣｂａやカラーブロックＣｂｒが表示される点で相違する。そして、ユーザが何れかのカラーバーＣｂａやカラーブロックＣｂｒをタッチすると、この配色画像Ｍが選択される。

図２４は、配色画像Ｍを選択する際に表示装置２０の表示画面２１に表示される画面の第３の例を示した図である。
ここでは、図２２の場合と比較して、表示画面２１の下部に、嗜好モデルを表すマップＭｐ上に、感性用語Ｋｙが表示される点で相違する。そして、ユーザが何れかの感性用語Ｋｙの領域をタッチすると、これに対応した配色画像Ｍが選択される。なお、ここでは、配色画像Ｍは、表示されない。

＜画像処理システム１の動作の説明＞
次に、画像処理システム１の動作について説明する。
図２５は、画像処理システム１の動作について説明したフローチャートである。
まず、被処理画像取得部１１が、被処理画像Ｈの画像情報を取得する（ステップ１０１）。この場合、ユーザが被処理画像Ｈを選択し、この画像情報を被処理画像取得部１１が取得する。またこの際、第３の実施形態のように、ユーザが、被処理画像Ｈの中で色調整を行いたい領域や行いたくない領域を指定し、領域指定部１７が、マスクを生成してもよい。

次に、配色画像取得部１２が、配色画像Ｍの画像情報を取得する（ステップ１０２）。これは、第１の実施形態では、配色画像ＭであるカラーバーＣｂａやカラーブロックＣｂｒを、ユーザが選択することで行われる。また、第２の実施形態では、感性用語Ｋｙを、ユーザが選択することで行われる。この場合、用語変換部１６が、感性用語Ｋｙを基に配色画像Ｍを記憶手段から取得し、これを配色画像取得部１２に渡す。

そして、色分布解析部１３が、被処理画像Ｈおよび配色画像Ｍについて、色分布を求める（ステップ１０３）。この場合、色分布解析部１３は、色分布として、例えば、上述した相加平均や標準偏差を求める。

さらに、色調整部１４が、配色画像Ｍの配色を被処理画像Ｈの配色に反映させる色調整を行う（ステップ１０４）。
そして、表示画像作成部１５が、色調整部１４により色調整がなされた後の画像情報を作成し、出力する（ステップ１０５）。

以上説明した画像処理装置１０によれば、第１の実施形態では、複数の見本色が配される配色画像Ｍを選択することで、ユーザは、被処理画像Ｈの色調整を容易に行うことができる。また、第２の実施形態では、ユーザが感性用語Ｋｙを選択することで、ユーザは、被処理画像Ｈの色調整を容易に行うことができる。
これは、被処理画像Ｈの色とそれぞれの色の変更後の色との調整をユーザが行う場合と比較して、 予め用意された配色パターンに基づき、被処理画像Ｈの配色に反映させることによりユーザの作業を低減することができる、と言うこともできる。

＜プログラムの説明＞
なお本実施の形態における画像処理装置１０が行う処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、画像処理装置１０の内部に設けられた図示しないＣＰＵが、画像処理装置１０の各機能を実現するプログラムを実行し、これらの各機能を実現させる。

よって画像処理装置１０が行う処理は、コンピュータに、被処理画像Ｈの色分布と予め組として用意された複数の見本色Ｍｃの色分布とを求める機能と、 被処理画像Ｈの色分布と複数の見本色Ｍｃの色分布との関係に基づき、被処理画像Ｈの色を変更する処理を行う機能と、を実現させるためのプログラムとして捉えることもできる。

なお上述した例では、平均として相加平均を使用したが、これに限られるものではなく、相乗平均等であってもよい。また上述した例では、散布度として標準偏差を使用したが、これに限られるものではなく、二乗平均平方根、分散など種々の指標を用いてもよい。

さらに上述した例では、色分布解析部１３で、ＲＧＢデータをＬαβデータに変換したが、色度成分と輝度成分に分離できる色空間での色度データであれば、これに限られるものではない。例えば、Ｌαβデータの代わりにＣＩＥＬ^＊ａ^＊ｂ^＊データ、ＩＰＴデータ、ＣＡＭＯ２データ、ＨＳＶデータ等に変換してもよい。

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…画像処理システム、１０…画像処理装置、１１…被処理画像取得部、１２…配色画像取得部、１３…色分布解析部、１４…色調整部、１５…表示画像作成部、１６…用語変換部、１７…領域指定部、２０…表示装置、Ｃｂａ…カラーバー、Ｃｂｒ…カラーブロック、Ｈ…被処理画像、Ｍ…配色画像、Ｍｃ…見本色、Ｍａ１、Ｍａ２…マスク

Claims (15)

1. プロセッサを備え、
   前記プロセッサは、
   被処理画像の色分布と予め組として用意された複数の見本色の色分布とを求め、
   前記被処理画像の色分布と前記複数の見本色の色分布との関係に基づき、前記被処理画像の色を変更する処理を行う
   ことを特徴とする画像処理装置。
2. 前記プロセッサは、
   画像を表示する表示装置に、前記被処理画像と前記複数の見本色の画像とを並べて表示させ、
   ユーザが選択した前記複数の見本色を基に、前記処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の見本色の画像は、当該複数の見本色をカラーバーまたはカラーブロックにて表示するものであることを特徴とする請求項２に記載の画像処理装置。
4. 前記複数の見本色の画像は、各見本色が占める面積により、前記処理を行うときの、当該各見本色を反映させる際の重みを表すことを特徴とする請求項２に記載の画像処理装置。
5. 前記面積は、ユーザが変更可能であることを特徴とする請求項４に記載の画像処理装置。
6. 前記各見本色の他に、ユーザがさらに色を追加可能であることを特徴とする請求項２に記載の画像処理装置。
7. 前記プロセッサは、
   画像の印象を表す用語を受け付け、
   前記用語を基に前記複数の見本色を取得することを特徴とする請求項１に記載の画像処理装置。
8. 前記プロセッサは、前記用語と前記複数の見本色とを予め定められた感性に応じ関連付けられて記憶する記憶手段から、当該複数の見本色を取得することを特徴とする請求項７に記載の画像処理装置。
9. 前記プロセッサは、ユーザが、前記被処理画像の中で前記処理を行う領域を指定した結果を受け付けることを特徴とする請求項１に記載の画像処理装置。
10. 前記プロセッサは、前記複数の見本色のそれぞれについて、重み付けをして前記処理を行うことを特徴とする請求項１に記載の画像処理装置。
11. 前記プロセッサは、前記処理として、前記複数の見本色の中で、前記被処理画像に最も高頻度で含まれる色に最も近い色について他の色より大きい重み付けをすることを特徴とする請求項１０に記載の画像処理装置。
12. 前記プロセッサは、前記処理として、前記重み付けに応じ、前記被処理画像の特徴量を前記複数の見本色の特徴量に合わせ調整することを特徴とする請求項１０に記載の画像処理装置。
13. 前記特徴量は、前記被処理画像および前記複数の見本色の平均および散布度であることを特徴とする請求項１２に記載の画像処理装置。
14. 画像を表示する表示装置と、
    前記表示装置に表示される被処理画像に対し画像処理を行なう画像処理装置と、
    を備え、
    前記画像処理装置は、プロセッサを備え、
    前記プロセッサは、
    前記被処理画像の色分布と予め組として用意された複数の見本色の色分布とを求め、
    前記被処理画像の色分布と前記複数の見本色の色分布との関係に基づき、当該被処理画像の色を変更する処理を行う
    ことを特徴とする画像処理システム。
15. コンピュータに、
    被処理画像の色分布と予め組として用意された複数の見本色の色分布とを求める機能と、
    前記被処理画像の色分布と前記複数の見本色の色分布との関係に基づき、当該被処理画像の色を変更する処理を行う機能と、
    を実現させるためのプログラム。

Images