JP2021157356A - 画像処理装置、画像処理システムおよびプログラム - Google Patents

Abstract

【課題】被処理画像の画質を見本画像の画質に合わせる画像処理を行う際に、画像処理後の被処理画像の画像が不自然な結果となることを低減する画像処理装置等を提供する。【解決手段】プロセッサを備え、プロセッサは、画像の印象を見本画像に合わせる画像処理を行なう被処理画像および見本画像について、輝度に関する成分を抽出し、画像を構成する各画素が有する画素値を基に、画素値を輝度に関する成分に基づく重みで重み付けをして、被処理画像および見本画像についての特徴量を抽出し、被処理画像の特徴量を見本画像の特徴量に合わせ調整することを特徴とする画像処理装置１０。【選択図】図４

Description

本発明は、画像処理装置、画像処理システム、プログラムに関する。

近年、デジタルカメラ等の普及によりデジタル画像を撮影・閲覧するユーザーが増加している。また、スマートフォンやタブレットの普及によって、希望の画像を得るためにこれまでＰＣ（Personal Computer）の画像編集ソフトウェアを利用して行っていた画質調整を、より直感的な操作で行いたい、というニーズが高まっている。
デジタル画像の画質調整には、例えば、ＲＧＢ、ＣＩＥＬ^＊ａ^＊ｂ^＊、ＨＳＶなどの色空間上で色度や輝度、色相、彩度の成分値やそれらのコントラストの調整を行うものがある。その中でユーザが見本となる見本画像を指定し、被処理画像の画質を被処理画像の全体に対してこの見本画像の画質に合わせる画像処理を行う場合がある。これにより、例えば、被処理画像の印象を見本画像の印象とする画像処理を行うことができる。

特許文献１には、画像の印象を見本画像に合わせる画像処理を行なう被処理画像および見本画像について色度成分および輝度成分を取得する色変換部と、被処理画像および見本画像について色度成分および輝度成分の特徴量を抽出する特徴量抽出部と、色度成分の特徴量を使用し被処理画像の色度成分を見本画像の色度成分に合わせ調整する色度成分調整部と、輝度成分の特徴量を使用し暗部領域以外の非暗部領域では、被処理画像の輝度成分を見本画像の輝度成分に合わせ調整し、暗部領域では、調整の際の調整量を非暗部領域に対して行う調整を適用したときの調整量より小さくする輝度成分調整部と、を備えることを特徴とする画像処理装置が開示されている。

特開２０１６−１７７５００号公報

しかしながら、例えば、被処理画像に暗い画素が多いと、画像処理後の画像が、不自然な結果となることがある。
本発明は、被処理画像の画質を見本画像の画質に合わせる画像処理を行う際に、画像処理後の被処理画像の画像が不自然な結果となることを低減する画像処理装置等を提供することを目的とする。

請求項１に記載の発明は、プロセッサを備え、前記プロセッサは、画像の印象を見本画像に合わせる画像処理を行う被処理画像および当該見本画像について、輝度に関する成分を抽出し、画像を構成する各画素が有する画素値を基に、当該画素値を前記輝度に関する成分に基づく重みで重み付けをして、前記被処理画像および前記見本画像についての特徴量を抽出し、前記被処理画像の特徴量を前記見本画像の特徴量に合わせ調整することを特徴とする画像処理装置である。
請求項２に記載の発明は、前記プロセッサは、前記被処理画像および前記見本画像を構成する各画素が有する画素値の平均および散布度を特徴量として算出することを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記プロセッサは、前記平均を、各画素が有する画素値を前記重みで重み付けした加重平均として算出し、前記散布度を、各画素が有する画素値を前記重みで重み付けした上で当該加重平均を用いることで求められる標準偏差として算出することを特徴とする請求項２に記載の画像処理装置である。
請求項４に記載の発明は、前記プロセッサは、前記輝度に関する成分に基づく重みで重み付けをして、前記被処理画像の特徴量を前記見本画像の特徴量に合わせ調整することを特徴とする請求項１に記載の画像処理装置である。
請求項５に記載の発明は、前記プロセッサは、前記被処理画像を構成する各画素が有する画素値を、前記重みで重み付けをしてアルファブレンドすることで、当該被処理画像の特徴量を前記見本画像の特徴量に合わせ調整することを特徴とする請求項４に記載の画像処理装置である。
請求項６に記載の発明は、前記プロセッサは、前記輝度に関する成分と前記重みとの関係が単調増加関数となるように、当該重みを設定することを特徴とする請求項１に記載の画像処理装置である。
請求項７に記載の発明は、前記プロセッサは、前記輝度に関する成分を前記重みとすることを特徴とする請求項６に記載の画像処理装置ある。
請求項８に記載の発明は、前記プロセッサは、前記輝度に関する成分と前記重みとの関係が非線形の単調増加関数となるように、当該重みを設定することを特徴とする請求項６に記載の画像処理装置である。
請求項９に記載の発明は、前記プロセッサは、前記見本画像のシーンに応じて前記重みを変更することを特徴とする請求項１に記載の画像処理装置である。
請求項１０に記載の発明は、前記プロセッサは、前記見本画像が夜景のときに、前記輝度に関する成分と前記重みとの関係が単調減少関数となるように、当該重みを設定することを特徴とする請求項９に記載の画像処理装置である。
請求項１１に記載の発明は、前記プロセッサは、前記見本画像が夜景以外のときに、前記輝度に関する成分と前記重みとの関係が単調増加関数となるように、当該重みを設定することを特徴とする請求項１０に記載の画像処理装置である。
請求項１２に記載の発明は、前記プロセッサは、前記輝度に関する成分の補正を行うことを特徴とする請求項１に記載の画像処理装置である。
請求項１３に記載の発明は、前記プロセッサは、前記輝度に関する成分の補正を行うことで、画像処理の程度を調整することを特徴とする請求項１２に記載の画像処理装置である。
請求項１４に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される被処理画像に対し画像処理を行う画像処理装置と、を備え、前記画像処理装置は、プロセッサを備え、前記プロセッサは、画像の印象を見本画像に合わせる画像処理を行う被処理画像および当該見本画像について、輝度に関する成分を抽出し、画像を構成する各画素が有する画素値を基に、当該画素値を前記輝度に関する成分に基づく重みで重み付けをして、前記被処理画像および前記見本画像についての特徴量を抽出し、前記被処理画像の特徴量を前記見本画像の特徴量に合わせ調整することを特徴とする画像処理システムである。
請求項１５に記載の発明は、コンピュータに、画像の印象を見本画像に合わせる画像処理を行う被処理画像および当該見本画像について、輝度に関する成分を抽出する機能と、画像を構成する各画素が有する画素値を基に、当該画素値を前記輝度に関する成分に基づく重みで重み付けをして、前記被処理画像および前記見本画像についての特徴量を抽出する機能と、前記被処理画像の特徴量を前記見本画像の特徴量に合わせ調整する機能と、を実現させるためのプログラムである。

請求項１の発明によれば、被処理画像の画質を見本画像の画質に合わせる画像処理を行う際に、画像処理後の被処理画像の画像が不自然な結果となることを低減する画像処理装置を提供することができる。
請求項２、３の発明によれば、特徴量の抽出がより容易になる。
請求項４、５の発明によれば、被処理画像の非暗部領域では、見本画像の特徴量がより大きく反映され、被処理画像の印象が見本画像の印象となりやすく、暗部領域では、見本画像の特徴量があまり反映されず、暗部のまま維持されやすい。
請求項６の発明によれば、より的確な重みを設定することができる。
請求項７の発明によれば、重みの算出がより容易になる。
請求項８の発明によれば、画像処理後の被処理画像の画像が、自然になりやすい。
請求項９の発明によれば、シーンに応じ、被処理画像の画像処理を行うことができる。
請求項１０の発明によれば、見本画像が夜景の際に、より的確な重みを設定することができる。
請求項１１の発明によれば、見本画像が夜景以外の際に、より的確な重みを設定することができる。
請求項１２の発明によれば、被処理画像への見本画像の印象の反映の程度を調整することができる。
請求項１３の発明によれば、被処理画像への見本画像の印象の反映の程度をユーザが調整することができる。
請求項１４の発明によれば、ユーザが被処理画像の画質を見本画像の画質に合わせる画像処理を、より容易に行うことができる画像処理システムを提供することができる。
請求項１５の発明によれば、被処理画像の画質を見本画像の画質に合わせる画像処理を行う際に、画像処理後の被処理画像の画像が不自然な結果となることを低減する機能をコンピュータにより実現できる。

本実施の形態における画像処理システムの構成例を示す図である。 （ａ）〜（ｃ）は、被処理画像の画質を見本画像の画質に合わせる画像処理として、従来方法による第１の例について示した図である。 （ａ）〜（ｄ）は、被処理画像の画質を見本画像の画質に合わせる画像処理として、従来方法による第２の例について示した図である。 第１の実施における画像処理装置の機能構成例を示したブロック図である。 本実施の形態による画像処理を行った被処理画像について示した図である。 （ａ）〜（ｂ）は、輝度成分と重みとの関係を示した図である。 第３の実施における画像処理装置の機能構成例を示したブロック図である。 （ａ）〜（ｂ）は、輝度成分と重みとの関係が単調減少関数となる場合を示した図である。 画像処理システムの動作について説明したフローチャートである。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

＜画像処理システム全体の説明＞
図１は、本実施の形態における画像処理システム１の構成例を示す図である。
図示するように本実施の形態の画像処理システム１は、表示装置２０に表示される画像の画像情報に対し画像処理を行う画像処理装置１０と、画像処理装置１０により作成された画像情報が入力され、この画像情報に基づき画像を表示する表示装置２０と、画像処理装置１０に対しユーザが種々の情報を入力するための入力装置３０とを備える。

画像処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、画像処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、画像情報の作成等が行われるようになっている。

画像処理装置１０は、演算手段であるＣＰＵと、記憶手段であるメインメモリ、およびＨＤＤやＳＳＤ（Solid State Drive）等のストレージを備える。ここで、ＣＰＵは、プロセッサの一例であり、ＯＳ（基本ソフトウェア）やアプリケーションソフトウェア（応用ソフトウェア）等の各種ソフトウェアを実行する。また、メインメモリは、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、ストレージは、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置１０は、外部との通信を行うための通信インタフェース（以下、「通信Ｉ／Ｆ」と表記する）と、キーボード、マウス、タッチパネル、スタイラスペン等の入力デバイスとを備える。

表示装置２０は、表示画面２１に画像を表示する。表示装置２０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置２０における表示方式は、液晶方式に限定されるものではない。なお、図１に示す例では、表示装置２０内に表示画面２１が設けられているが、表示装置２０として例えばプロジェクタを用いる場合、表示画面２１は、表示装置２０の外部に設けられたスクリーン等となる。

入力装置３０は、キーボードやマウス等で構成される。入力装置３０は、画像処理を行うためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、画像処理を行う際に、ユーザが画像処理装置１０に対し画像処理を行うための指示を入力するのに使用する。

画像処理装置１０および表示装置２０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ−２３２Ｃ等を介して接続されていてもよい。

詳しくは後述するが、本実施の形態では、被処理画像の画質を見本画像の画質に合わせる画像処理が行われる。これにより、被処理画像の印象を見本画像の印象に合わせることができる。
このような画像処理システム１において、表示装置２０には、まず最初に画像処理を行う前の画像である被処理画像、および見本画像が表示される。そしてユーザが入力装置３０を使用して、画像処理装置１０に対し画像処理を行うための指示を入力すると、画像処理装置１０により被処理画像の画像情報に対し画像処理がなされる。この画像処理の結果は、表示装置２０に表示される画像に反映され、画像処理後の被処理画像の画像が描画されて表示装置２０に表示されることになる。この場合、ユーザは、表示装置２０を見ながらインタラクティブに画像処理を行うことができ、より直感的に、またより容易に画像処理の作業を行える。

なお本実施の形態における画像処理システム１は、図１の形態に限られるものではない。例えば、画像処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行うとともにユーザの指示が入力される。即ち、タッチパネルが、表示装置２０および入力装置３０として機能する。また同様に表示装置２０および入力装置３０を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置２０の表示画面２１としてタッチパネルを使用したものである。この場合、画像処理装置１０により画像情報が作成され、この画像情報に基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで画像処理を行うための指示を入力する。

図２（ａ）〜（ｃ）は、被処理画像の画質を見本画像の画質に合わせる画像処理として、従来方法による第１の例について示した図である。
このうち、図２（ａ）は、画像処理前の被処理画像Ｈであり、図２（ｂ）は、見本画像Ｍを示している。なお、本実施の形態で、「被処理画像」とは、画像処理の対象となる画像であり、「見本画像」とは、ユーザが希望する印象の画像を有し、被処理画像Ｈの画質を見本画像Ｍの画質に合わせる画像処理を行うための見本となる画像である。

実際には、被処理画像Ｈおよび見本画像Ｍは、液晶パネルや液晶ディスプレイ等の表示装置２０に表示される。そしてタブレット、スマートフォン、ＰＣ等で動作する画像編集ソフトウェアにより画像情報を処理することで画像処理が行われる。ユーザは、画像編集ソフトウェアの動作により、被処理画像Ｈや見本画像Ｍとともに表示装置２０に表示されるメニュー等を操作することで画像処理の操作を行う。この操作は、タブレットやスマートフォンの場合は、ユーザの指やタッチペンでタッチパネルである液晶パネルをタッチ等することで行う。またＰＣの場合は、ＰＣに接続されたキーボードやマウス等を使用して行う。

図示する被処理画像Ｈおよび見本画像Ｍは、近景の画像である前景Ｆと遠景の画像である後景Ｂとからなる。被処理画像Ｈの前景Ｆおよび後景Ｂは、明度が低い暗部領域からなる。即ち、被処理画像Ｈは、全体として暗い画像である。一方、見本画像Ｍは、前景Ｆは、明度が低い暗部領域であるが、後景Ｂは明るい非暗部領域であり、全体としても明るい画像となっている。

そして、ユーザは、被処理画像Ｈの画像処理を行い、被処理画像Ｈを見本画像Ｍと同様の印象を有する画像にしたいものとする。これは例えば、見本画像Ｍの後景Ｂが赤色の空の画像であり、被処理画像Ｈの後景Ｂが青色の空の画像であったときに、被処理画像Ｈの後景Ｂを赤色の空の画像にするような場合である。

図２（ｃ）は、従来の方法による画像処理後の被処理画像Ｈ’の画像を示している。
この場合、見本画像Ｍの方が被処理画像Ｈよりも、全体として明るいため、画像処理後の被処理画像Ｈ’は、本来は暗部領域である前景Ｆの輝度が高くなりすぎ、不自然な画像となりやすい。これは従来の画像編集ソフトウェアでは、一般的な仕様であり、例えば、Adobe Systems Incorporated製のAdobe Photoshop等でもこのような画像処理が行われる。

図３（ａ）〜（ｄ）は、被処理画像の画質を見本画像の画質に合わせる画像処理として、従来方法による第２の例について示した図である。
このうち、図３（ａ）は、画像処理前の被処理画像Ｈであり、図３（ｂ）は、見本画像Ｍを示している。

図３（ａ）に図示する被処理画像Ｈは、室内の画像である。また、図３（ｂ）に図示する見本画像Ｍは、図２（ｂ）と同様の画像であり、近景の画像である前景Ｆと遠景の画像である後景Ｂとからなる。

そして、ユーザは、被処理画像Ｈの画像処理を行い、被処理画像Ｈを見本画像Ｍと同様の印象を有する画像にしたいものとする。
図３（ｃ）は、従来の方法による画像処理後の被処理画像Ｈ’の画像を示している。
この場合、画像処理前の被処理画像Ｈに対し、見本画像Ｍは、前景Ｆと後景Ｂとの明度の差が大きく、その結果、画像中の明度の差が大きい。これは、画像を構成する画素の画素値の輝度成分の標準偏差が大きいと言うこともできる。そしてこれに起因して、画像処理後の被処理画像Ｈ’は、図３（ｃ）〜（ｄ）に示すように一部のオブジェクトＯｂが光って見え、ディフェクトが発生している。

以上説明したように、被処理画像Ｈや見本画像Ｍに暗部領域が多く、暗い画素が多いと、画像処理後の被処理画像Ｈ’が不自然な画像になったり、ノイズ、白飛び、光源色等が生じるディフェクトが発生しやすくなる。即ち、図２（ａ）の被処理画像Ｈのように、暗部領域が多く、暗い画素が多いと、画像を構成する画素の画素値の平均が小さくなる。また、図３（ｂ）の見本画像Ｍの前景Ｆのように、暗部領域があり、暗い画素があると、画素値の標準偏差が、大きくなる場合がある。そしてこれにより、画像処理後の被処理画像Ｈ’が不自然な画像になったり、ディフェクトが発生しやすくなる。

そこで本実施の形態では、以下に説明するような画像処理を行い、画像処理後の被処理画像Ｈ’が自然となるようにする。
以下、これを実現するための画像処理装置１０の説明を行う。

＜画像処理装置１０の構成の説明＞
［第１の実施形態］
まず、第１の実施形態について説明を行う。
第１の実施形態では、被処理画像Ｈおよび見本画像Ｍについて、それぞれ特徴量を抽出する。この特徴量は、それぞれの画像の輝度値を重みＷとして使用し、算出される。そして、被処理画像Ｈの特徴量を、見本画像Ｍの特徴量に合わせる処理を行うと、画像処理後の被処理画像Ｈ’の印象が、見本画像Ｍの印象になる画像処理が行える。

図４は、第１の実施における画像処理装置１０の機能構成例を示したブロック図である。
図示するように画像処理装置１０は、被処理画像Ｈおよび見本画像Ｍの画像情報（入力画像データ）を取得し色変換を行い色度成分と輝度成分とする色変換部１１と、変換後の画像情報から特徴量を抽出する特徴量抽出部１２と、被処理画像Ｈの特徴量を見本画像Ｍの特徴量に合わせる処理を行う成分調整部１３とを備える。

色変換部１１は、表示装置２０で被処理画像Ｈおよび見本画像Ｍを表示するための画像情報に対し、色変換を行う。画像情報は、この場合、ＲＧＢ(Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ)のビデオデータ(ＲＧＢデータ)である。そして、ＲＧＢデータを例えば、ＩＰＴデータに変換する。即ち、ＲＧＢ色空間の色度をＩＰＴ色空間の色度に変換する。ＩＰＴ色空間は、明度（Ｉ）、赤−緑方向の色度（Ｐ）、黄−青方向の色度（Ｔ）、の３成分からなる直交座標色空間である。このうち、本実施の形態では、赤−緑方向の色度（Ｐ）および黄−青方向の色度（Ｔ）を色度成分Ｐ、Ｔとし、明度（Ｉ）を輝度成分Ｉとする。色変換部１１は、被処理画像Ｈおよび見本画像Ｍについて、色度成分Ｐ、Ｔおよび輝度成分Ｉを抽出する、と言うこともできる。

特徴量抽出部１２は、被処理画像Ｈおよび見本画像Ｍについて、色度成分Ｐ、Ｔおよび輝度成分Ｉの特徴量を抽出する。特徴量は、ユーザが画像を見たときに、画像の印象を決定づける指標である。本実施の形態では、被処理画像Ｈおよび見本画像Ｍを構成する各画素が有する画素値の平均および散布度を特徴量として算出する。画素値は、色度成分Ｐ、Ｔ、および輝度成分Ｉからなる。よって、特徴量は、色度成分Ｐ、Ｔ、および輝度成分Ｉのそれぞれについて抽出される。なお、本実施の形態では、平均として相加平均を使用し、散布度として標準偏差を使用する。

より具体的には、特徴量抽出部１２は、被処理画像Ｈおよび見本画像Ｍのそれぞれについて、これらの画像を構成する各画素が有する色度成分Ｐ、Ｔ、および輝度成分Ｉの相加平均を求める。さらに特徴量抽出部１２は、被処理画像Ｈおよび見本画像Ｍのそれぞれについて、これらの画像を構成する各画素が有する色度成分Ｐ、Ｔ、および輝度成分Ｉの標準偏差を求める。また、本実施の形態では、このとき、特徴量抽出部１２は、輝度成分Ｉを重みＷとして使用し、相加平均および標準偏差を求める。

この重みＷは、第１の実施形態では、以下の数１式により定義される。なお、数１式において、Ｗｔ（ｉ、ｊ）は、被処理画像Ｈを構成する各画素の位置（ｉ、ｊ）における重みＷである。また、Ｉｔ（ｉ、ｊ）は、被処理画像Ｈを構成する各画素の位置（ｉ、ｊ）における輝度成分Ｉである。さらに、Ｗｒ（ｉ、ｊ）は、見本画像Ｍを構成する各画素の位置（ｉ、ｊ）における重みＷである。そして、Ｉｒ（ｉ、ｊ）は、見本画像Ｍを構成する各画素の位置（ｉ、ｊ）における輝度成分Ｉである。
つまり、数１式によれば、被処理画像Ｈおよび見本画像Ｍの輝度成分Ｉを、そのまま重みＷとする。

相加平均は、被処理画像Ｈおよび見本画像Ｍのそれぞれについて、色度成分Ｐ、Ｔ、および輝度成分Ｉ毎に求められるため、合計６つとなる。これは、以下の数２式により算出する。

数２式において、Ｐ_ｉ，ｊは、被処理画像Ｈや見本画像Ｍの画像を構成する各画素の位置（ｉ、ｊ）におけるＰ値である。そしてＴ_ｉ，ｊは、被処理画像Ｈや見本画像Ｍの画像を構成する各画素の位置（ｉ、ｊ）におけるＴ値である。さらにＩ_ｉ，ｊは、被処理画像Ｈや見本画像Ｍの画像を構成する各画素の位置（ｉ、ｊ）におけるＩ値である。

そしてμ_Ｐｔは、被処理画像ＨのＰ値の相加平均である。また、μ_Ｔｔは、被処理画像ＨのＴ値の相加平均である。さらにμ_Ｉｔは、被処理画像ＨのＩ値の相加平均である。
さらにμ_Ｐｒは、見本画像ＭのＰ値の相加平均である。またμ_Ｔｒは、見本画像ＭのＴ値の相加平均である。さらにμ_Ｉｒは、見本画像ＭのＩ値の相加平均である。

さらに標準偏差についても、被処理画像Ｈおよび見本画像Ｍのそれぞれについて、色度成分Ｐ、Ｔ、および輝度成分Ｉ毎に求められるため、合計６つとなる。これは、以下の数３式により算出する。

数３式において、Ｐ_ｉ，ｊ、Ｔ_ｉ，ｊ、Ｉ_ｉ，ｊは、数２式と同様である。
そしてσ_Ｐｔは、被処理画像ＨのＰ値の標準偏差である。またσ_Ｔｔは、被処理画像ＨのＴ値の標準偏差である。さらにσ_Ｉｔは、被処理画像ＨのＩ値の標準偏差である。
さらにσ_Ｐｒは、見本画像ＭのＰ値の標準偏差である。またσ_Ｔｒは、見本画像ＭのＴ値の標準偏差である。さらにσ_Ｉｒは、見本画像ＭのＩ値の標準偏差である。

このように、特徴量抽出部１２は、画像を構成する各画素が有する画素値を基に、画素値を輝度成分Ｉに基づく重みＷで重み付けをして、被処理画像Ｈおよび見本画像Ｍについての特徴量を抽出する。この場合、特徴量は、画素値の平均および画素値の散布度である。そして、このとき、特徴量抽出部１２は、平均を、各画素が有する画素値を重みＷで重み付けした加重平均として算出し、散布度を、各画素が有する画素値を重みＷで重み付けした上で加重平均を用いることで求められる標準偏差として算出する。
なお、加重平均の標準偏差は、例えば、画像の画素値が１０、２０、３０で、その重みがそれぞれ０．２、０．４、０．６だった場合に、重みを２、４、６と読み替えて、１０のデータが２個、２０のデータが４個、３０のデータが６個の計１２のデータ、つまり１０、１０、２０、２０、２０、２０、３０、３０、３０、３０、３０、３０のデータとして一般的な標準偏差を計算する方法を用いても構わない。

成分調整部１３は、特徴量抽出部１２で抽出した特徴量を使用し、被処理画像Ｈの特徴量を見本画像Ｍの特徴量に合わせ調整する。
ここでは、成分調整部１３は、被処理画像Ｈおよび見本画像Ｍについての相加平均および標準偏差を使用して、被処理画像Ｈの各画素の相加平均および標準偏差を見本画像Ｍの相加平均および標準偏差に近づける処理を行う。

この処理は、例えば、以下の数４式〜数６式により行う。
このうち、数４式は、Ｐ値についての算出式である。ここで、Ｐｔ（ｉ、ｊ）は、調整前の被処理画像Ｈの画像を構成する位置（ｉ、ｊ）のＰ値である。またＰｔ’（ｉ、ｊ）は、調整後の被処理画像Ｈの画像を構成する位置（ｉ、ｊ）のＰ値である。
また、数５式は、Ｔ値についての算出式である。ここで、Ｔｔ（ｉ、ｊ）は、調整前の被処理画像Ｈの画像を構成する位置（ｉ、ｊ）のＴ値である。またＴｔ’（ｉ、ｊ）は、調整後の被処理画像Ｈの画像を構成する位置（ｉ、ｊ）のＴ値である。
さらに、数６式は、Ｉ値についての算出式である。ここで、Ｉｔ（ｉ、ｊ）は、調整前の被処理画像Ｈの画像を構成する位置（ｉ、ｊ）のＩ値である。またＩｔ’（ｉ、ｊ）は、調整後の被処理画像Ｈの画像を構成する位置（ｉ、ｊ）のＩ値である。

これにより被処理画像Ｈの画像を構成する位置（ｉ、ｊ）の画素について、見本画像Ｍに合わせた色度成分Ｐ、Ｔ、および輝度成分Ｉの調整が行われる。この場合、数４式〜数６式に示すように、被処理画像Ｈを構成する各画素が有する画素値を、重みＷｔ（ｉ、ｊ）で重み付けをしてアルファブレンドすることで、被処理画像Ｈの特徴量を見本画像Ｍの特徴量に合わせ調整する。またこれは、輝度成分Ｉに基づく重みＷで重み付けをして、被処理画像Ｈの特徴量を見本画像Ｍの特徴量に合わせ調整する、と言うこともできる。

そしてこの後は、色変換部１１が、ＩＰＴデータをＲＧＢデータに戻す、逆変換を行い、画像処理後の被処理画像Ｈ’として、表示装置２０に表示される。

また、成分調整部１３は、上述した例では、重みＷｔ（ｉ、ｊ）を使用して、Ｐｔ’（ｉ、ｊ）、Ｔｔ’（ｉ、ｊ）、Ｉｔ’（ｉ、ｊ）を求めたが、重みＷｔ（ｉ、ｊ）を使用しなくてもよい。
この処理は、例えば、以下の数７式〜９式により行うことができる。

なお、数６式および数９式で、輝度成分ＩであるＩｔ’（ｉ、ｊ）が、０〜１の範囲を超える場合がある。その場合は、最小が０であり、最大が１となるように正規化してもよい。

図５は、本実施の形態による画像処理を行った被処理画像Ｈ’について示した図である。
この場合、図２（ａ）に示した被処理画像Ｈの印象を、図２（ｂ）に示した見本画像Ｍの印象にする画像処理を、上述した方法により行った場合を示している。
図示するように、後景Ｂについては、図２（ｃ）と同様の画像となり、前景Ｆについては、暗部領域である前景Ｆの輝度が過度に高くならず、暗部領域のままである。その結果、自然な画像となっている。

第１の実施によれば、被処理画像Ｈの画質を見本画像Ｍの画質に合わせる画像処理を行う際に、画像処理後の被処理画像Ｈ’の画像が不自然な結果となることを低減することができる。
つまり、人が画像から受ける印象は、暗い領域である暗部領域よりも、明るい領域である非暗部領域の方が、支配的である。よって、輝度成分Ｉを重みＷとして、特徴量を求めることで、より明るい領域を重視した特徴量が抽出される。即ち、非暗部領域を主に反映した特徴量を抽出することができる。その結果、図２（ａ）の被処理画像Ｈのように、暗部領域が多く、暗い画素が多い場合でも、画像を構成する画素の画素値の平均が小さくなりにくい。また、図３（ｂ）の見本画像Ｍの前景Ｆのように、暗部領域があり、暗い画素があっても、画素値の標準偏差が、大きくなりにくい。その結果、画像処理後の被処理画像Ｈ’が不自然な画像になったり、ディフェクトが発生することが低減される。

また、数４式〜数６式では、成分調整部１３が、再び重みＷを使用して、アルファブレンドし、画像処理後の被処理画像Ｈ’の画像情報を求める。これにより、重みＷが大きい非暗部領域については、被処理画像Ｈの特徴量が、見本画像Ｍの特徴量に合せられる。これに対し、重みＷが小さい暗部領域では、被処理画像Ｈの特徴量は、あまり変化しない。その結果、非暗部領域では、見本画像Ｍの特徴量がより大きく反映され、被処理画像Ｈの印象が見本画像Ｍの印象となりやすい。対して、暗部領域では、見本画像Ｍの特徴量があまり反映されず、暗部のままとなりやすい。その結果、図２（ｃ）で示したような、画像処理後の被処理画像Ｈ’が不自然な画像になるのをさらに抑制できる。

［第２の実施形態］
次に、第２の実施形態について説明を行う。
第１の実施形態では、数１式に示すように、被処理画像Ｈおよび見本画像Ｍの輝度成分Ｉを、そのまま重みＷとしていた。一方、第２の実施形態では、輝度成分Ｉをそのまま重みＷとせず、輝度成分Ｉに基づき重みＷを算出する処理を行う。

図６（ａ）〜（ｂ）は、輝度成分Ｉと重みＷとの関係を示した図である。
ここで、横軸は、輝度成分Ｉを表し、縦軸は、重みＷを表す。なお、ここでは、輝度成分Ｉと重みＷとの関係を、被処理画像Ｈと見本画像Ｍとで分けて図示している。つまり、被処理画像Ｈについて、横軸を、Ｉｔ（ｉ、ｊ）とし、縦軸を、Ｗｔ（ｉ、ｊ）として図示している。また、見本画像Ｍについは、横軸を、Ｉｒ（ｉ、ｊ）とし、縦軸は、Ｗｒ（ｉ、ｊ）として図示している。

このうち、図６（ａ）は、第１の実施形態の輝度成分Ｉと重みＷとの関係を示している。
第１の実施形態では、重みＷは、輝度成分Ｉと同じであり、輝度成分Ｉと重みＷとの関係は、比例関係にある。また、別の言い方をすれば、輝度成分Ｉと重みＷとの関係は、線型の単調増加関数となる、と言うこともできる。輝度成分Ｉと重みＷとの関係が、単調増加関数である場合、輝度成分Ｉが大きくなるほど、重みＷは大きくなり、輝度成分Ｉが小さくなるほど、重みＷは小さくなる。

一方、図６（ｂ）は、第２の実施形態の輝度成分Ｉと重みＷとの関係を示している。
第２の実施形態では、輝度成分Ｉと重みＷとの関係は、第１の実施形態と同様に単調増加関数となっているが、非線型である。
図６（ｂ）に図示するような関数は、例えば、ロジスティック関数を用いることで実現できる。輝度成分Ｉと重みＷとの関係を、ロジスティック関数を用いて表した場合、例えば、以下の数１０式により定義することができる。数１０式で、ｋ１、ｋ２、ｋ３、ｋ４は、定数である。

第２の実施によれば、画像処理後の被処理画像Ｈ’が、さらに自然な画像となりやすい。
なお、図６（ａ）〜（ｂ）では、被処理画像ＨについてのＷｔ（ｉ、ｊ）と、見本画像ＭについてのＷｒ（ｉ、ｊ）とで、図示するように同様の関数を使用したが、互いに異なるようにしてもよい。

［第３の実施形態］
次に、第３の実施形態について説明を行う。
第３の実施形態では、被処理画像Ｈや見本画像Ｍのシーンを解析し、シーンにより重みＷを変更する。

図７は、第３の実施における画像処理装置１０の機能構成例を示したブロック図である。
図７に図示するように画像処理装置１０は、図４に図示する画像処理装置１０に比較して、シーン解析部１４が加わる点で異なる。そして、他の色変換部１１、特徴量抽出部１２、成分調整部１３の機能は、双方とも同様である。よって、以下、シーン解析部１４について中心に説明を行う。

シーン解析部１４は、見本画像Ｍのシーンを解析する。具体的には、シーン解析部１４は、シーンとして、見本画像Ｍのシーンが夜景であるか否かを判断する。見本画像Ｍのシーンが、夜景であるか否かは、見本画像Ｍ全体に対する暗部領域の占める割合などにより判断できる。また、ディープラーニングなどの方法でも判断することができる。暗部領域であるか否かは、例えば、閾値を使用することで判断できる。即ち、輝度成分Ｉが予め定められた閾値以下である場合は、暗部領域であり、輝度成分Ｉが予め定められた閾値を超える場合は、非暗部領域であるとする。
そして、特徴量抽出部１２は、見本画像Ｍのシーンに応じて重みＷを変更する。実際には、特徴量抽出部１２は、見本画像Ｍが夜景のときに、輝度成分Ｉと重みＷとの関係が単調減少関数となるように、重みＷを設定する。

図８（ａ）〜（ｂ）は、輝度成分Ｉと重みＷとの関係が単調減少関数となる場合を示した図である。
このうち、図８（ａ）で示す輝度成分Ｉと重みＷとの関係は、以下の数１１式で定義することができる。

対して、特徴量抽出部１２は、見本画像Ｍが夜景以外のときに、輝度成分Ｉと重みＷとの関係が単調増加関数となるように、重みＷを設定する。即ち、輝度成分Ｉと重みＷとの関係を、図６（ａ）〜（ｂ）で説明したような関係とする。

なお、輝度成分Ｉと重みＷとの関係が単調減少関数となる場合は、図８（ａ）のような直線状の関数のみならず、図８（ｂ）に示すような非線形の関数を使用してもよい。また、単調増加関数であっても、輝度成分Ｉが小さい箇所で、輝度成分Ｉを底上げするような関数であってもよい。

第３の実施によれば、シーンに応じ、被処理画像Ｈの画像処理を行うことができ、画像処理後の被処理画像Ｈ’の画像が不自然な結果となることをさらに低減することができる。

［第４の実施形態］
さらに、第４の実施形態について説明を行う。
上述した例では、輝度成分Ｉを使用したが、輝度に関する成分であれば、これに限られるものではない。この場合、輝度に関する成分は、画像中の明るさを表す情報であり、輝度成分Ｉの他には、例えば、照明成分が挙げられる。そして、第４の実施形態では、上述した輝度成分Ｉの代わりに、この照明成分を使用する。

人の視覚認知の１つの特性として、網膜に入った光の１点（画像では１つの画素）の知覚量は、１点の周辺輝度の平均に影響することが知られている。周辺輝度は推定された照明成分に相当し、照明成分の推定は、例えば、移動平均法または以下の数１２式のＧａｕｓｓ関数で表されるコンボリューションを行うことで実施できる。数１２式で、ｋは画像処理のフィルタサイズの画素分で積分した場合に１になるように正規化する係数、σは平滑化度合い（スケール）を表す。なお、このガウス関数は一例であり、同様な結果（平滑化）になるフィルタであればいかなるものでもよい。例えば、数１２式を変形した形で、エッジ保存を行う平滑化フィルタとして知られるバイラテラルフィルを用いてもよい。

そして、数１２式のガウス関数を用いて、照明成分に基づく、被処理画像Ｈおよび見本画像Ｍの重みＷは、以下の数１３式により算出することができる。数１３式の上側の式は、Ｗｔ（ｉ、ｊ）が、Ｇ（ｉ、ｊ）とＩｔ（ｉ、ｊ）との畳込みで算出できることを表す。また、数１３式の下側の式は、Ｗｒ（ｉ、ｊ）が、Ｇ（ｉ、ｊ）とＩｒ（ｉ、ｊ）との畳込みで算出できることを表す。

第４の実施形態によれば、画像の印象は画像の照明成分の寄与が大きいという考えのもと、輝度に関する成分として照明成分を使用し、これを重みＷとして使用する。これにより、人の視覚認知の特性に合わせた画像処理を行えることが期待できる。
なお、第２の実施形態で説明した場合と同様に、照明成分に基づき重みＷを求める処理を行うようにしてもよい。また、第３の実施形態で説明した場合と同様に、シーンに応じ、照明成分に基づき重みＷを求める処理を変更してもよい。

［第５の実施形態］
さらに、第５の実施形態について説明を行う。
第５の実施形態では、ユーザの指示により、重みＷを変更する。

以上説明した例では、特徴量抽出部１２が、予め定められた方法により重みＷを設定していたが、重みＷをユーザが、調整できるようにすることもできる。具体的には、ユーザは、輝度に関する成分である輝度成分Ｉや照明成分の補正を行うことで、画像処理の程度を調整することができる。つまり、被処理画像Ｈの印象を見本画像Ｍの印象に反映させる程度を調整することができる。例えば、表示装置２０に表示された、大、中、小のラジオボタンにより、ユーザが画像処理の程度を選択する。これにより、小→中→大に行くに従い、画像処理の程度が大きくなり、被処理画像Ｈの印象が見本画像Ｍの印象に近づいていく。また、表示装置２０に表示されたスライドバーを操作することで、ユーザが調整を行うこともできる。
なお、輝度成分Ｉや照明成分ではなく、直接、重みＷを調整するようにしてもよい。

第５の実施形態によれば、画像処理後の被処理画像Ｈ’として、ユーザが希望する画質のものを得やすくなる。

＜画像処理システム１の動作の説明＞
次に、画像処理システム１の動作について説明する。
図９は、画像処理システム１の動作について説明したフローチャートである。
まず、色変換部１１が、被処理画像Ｈおよび見本画像Ｍの画像情報を取得する（ステップ１０１）。これは、例えば、予め用意された画像から、ユーザが、入力装置３０を使用して、被処理画像Ｈおよび見本画像Ｍを選択することで行うことができる、
次に、色変換部１１が、取得した画像情報を色変換し、色度成分Ｐ、Ｔ、および輝度成分Ｉを取得する（ステップ１０２）。

さらに、特徴量抽出部１２が、被処理画像Ｈおよび見本画像Ｍについて、特徴量を抽出する（ステップ１０３）。このとき、特徴量抽出部１２は、第１の実施形態〜第４の実施形態で上述した方法のように、輝度成分Ｉに基づく重みＷを使用して、これらの画像の特徴量を抽出する。
そして、成分調整部１３が、被処理画像Ｈの特徴量を見本画像Ｍの特徴量に合わせる処理を行う（ステップ１０４）。これにより、画像処理後の被処理画像Ｈ’が作成される。
画像処理後の被処理画像Ｈ’は、画像処理前の被処理画像Ｈと併せて、表示装置２０に表示される。

＜プログラムの説明＞
なお本実施の形態における画像処理装置１０が行う処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、画像処理装置１０の内部に設けられた図示しないＣＰＵが、画像処理装置１０の各機能を実現するプログラムを実行し、これらの各機能を実現させる。

よって画像処理装置１０が行う処理は、コンピュータに、画像の印象を見本画像Ｍに合わせる画像処理を行う被処理画像Ｈおよび見本画像Ｍについて、輝度に関する成分を抽出する機能と、画像を構成する各画素が有する画素値を基に、画素値を輝度に関する成分に基づく重みＷで重み付けをして、被処理画像Ｈおよび見本画像Ｍについての特徴量を抽出する機能と、被処理画像Ｈの特徴量を見本画像Ｍの特徴量に合わせ調整する機能と、を実現させるためのプログラムとして捉えることもできる。

なお、上述した例では、数２式および数３式で示したように、相加平均および標準偏差を求める際に、双方とも重みＷを使用したが、何れか一方であってもよい。

また上述した例では、平均として相加平均を使用したが、これに限られるものではなく、相乗平均等であってもよい。また上述した例では、散布度として標準偏差を使用したが、これに限られるものではなく、二乗平均平方根、分散など種々の指標を用いてもよい。

さらに上述した例では、色変換部１１で、ＲＧＢデータをＩＰＴデータに変換したが、色度成分と輝度成分に分離できる色空間での色度データであれば、これに限られるものではない。例えば、ＩＰＴデータの代わりにＣＩＥＬ^＊ａ^＊ｂ^＊データ、Ｌαβデータ、ＣＡＭＯ２データ、ＨＳＶデータ等に変換してもよい。ただしＣＩＥＬ^＊ａ^＊ｂ^＊色空間などのユーザの知覚量と均等な色空間を利用したり、ユーザの心理物理的な見えを考慮したＣＩＥＣＡＭ２やｉＣＡＭによる色変換を利用することで、より的確な特徴量が取得でき、画像処理後の印象がより自然となりやすい。

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。

１…画像処理システム、１０…画像処理装置、１１…色変換部、１２…特徴量抽出部、１３…成分調整部、１４…シーン解析部、２０…表示装置、Ｈ…被処理画像、Ｍ…見本画像

Claims (15)

1. プロセッサを備え、
   前記プロセッサは、
   画像の印象を見本画像に合わせる画像処理を行う被処理画像および当該見本画像について、輝度に関する成分を抽出し、
   画像を構成する各画素が有する画素値を基に、当該画素値を前記輝度に関する成分に基づく重みで重み付けをして、前記被処理画像および前記見本画像についての特徴量を抽出し、
   前記被処理画像の特徴量を前記見本画像の特徴量に合わせ調整する
   ことを特徴とする画像処理装置。
2. 前記プロセッサは、
   前記被処理画像および前記見本画像を構成する各画素が有する画素値の平均および散布度を特徴量として算出することを特徴とする請求項１に記載の画像処理装置。
3. 前記プロセッサは、
   前記平均を、各画素が有する画素値を前記重みで重み付けした加重平均として算出し、前記散布度を、各画素が有する画素値を前記重みで重み付けした上で当該加重平均を用いることで求められる標準偏差として算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記プロセッサは、
   前記輝度に関する成分に基づく重みで重み付けをして、前記被処理画像の特徴量を前記見本画像の特徴量に合わせ調整することを特徴とする請求項１に記載の画像処理装置。
5. 前記プロセッサは、
   前記被処理画像を構成する各画素が有する画素値を、前記重みで重み付けをしてアルファブレンドすることで、当該被処理画像の特徴量を前記見本画像の特徴量に合わせ調整することを特徴とする請求項４に記載の画像処理装置。
6. 前記プロセッサは、前記輝度に関する成分と前記重みとの関係が単調増加関数となるように、当該重みを設定することを特徴とする請求項１に記載の画像処理装置。
7. 前記プロセッサは、前記輝度に関する成分を前記重みとすることを特徴とする請求項６に記載の画像処理装置。
8. 前記プロセッサは、前記輝度に関する成分と前記重みとの関係が非線形の単調増加関数となるように、当該重みを設定することを特徴とする請求項６に記載の画像処理装置。
9. 前記プロセッサは、前記見本画像のシーンに応じて前記重みを変更することを特徴とする請求項１に記載の画像処理装置。
10. 前記プロセッサは、前記見本画像が夜景のときに、前記輝度に関する成分と前記重みとの関係が単調減少関数となるように、当該重みを設定することを特徴とする請求項９に記載の画像処理装置。
11. 前記プロセッサは、前記見本画像が夜景以外のときに、前記輝度に関する成分と前記重みとの関係が単調増加関数となるように、当該重みを設定することを特徴とする請求項１０に記載の画像処理装置。
12. 前記プロセッサは、前記輝度に関する成分の補正を行うことを特徴とする請求項１に記載の画像処理装置。
13. 前記プロセッサは、前記輝度に関する成分の補正を行うことで、画像処理の程度を調整することを特徴とする請求項１２に記載の画像処理装置。
14. 画像を表示する表示装置と、
    前記表示装置に表示される被処理画像に対し画像処理を行う画像処理装置と、
    を備え、
    前記画像処理装置は、プロセッサを備え、
    前記プロセッサは、
    画像の印象を見本画像に合わせる画像処理を行う被処理画像および当該見本画像について、輝度に関する成分を抽出し、
    画像を構成する各画素が有する画素値を基に、当該画素値を前記輝度に関する成分に基づく重みで重み付けをして、前記被処理画像および前記見本画像についての特徴量を抽出し、
    前記被処理画像の特徴量を前記見本画像の特徴量に合わせ調整する
    ことを特徴とする画像処理システム。
15. コンピュータに、
    画像の印象を見本画像に合わせる画像処理を行う被処理画像および当該見本画像について、輝度に関する成分を抽出する機能と、
    画像を構成する各画素が有する画素値を基に、当該画素値を前記輝度に関する成分に基づく重みで重み付けをして、前記被処理画像および前記見本画像についての特徴量を抽出する機能と、
    前記被処理画像の特徴量を前記見本画像の特徴量に合わせ調整する機能と、
    を実現させるためのプログラム。

Images