JP2017028412A - 画像処理方法、画像調整方法、画像調整プログラム、及び画像調整装置 - Google Patents

Abstract

【課題】 本発明の課題は、自動加工処理の精度を向上させることを目的とする。
【解決手段】 上記課題は、画像データと、該画像データに関連づけられたテキストデータとを含むデータを取得し、特徴語に対応づけて画像処理種別を記憶する記憶部の記憶内容を参照して、取得した前記テキストデータから抽出した特徴語に対応する画像処理種別を特定し、特定した前記画像処理種別に基づいて、前記画像データに画像処理を施す、ことを特徴とする画像処理方法により達成される。
【選択図】 図３

Description

本発明は、画像処理方法、画像調整方法、画像調整プログラム、及び画像調整装置に関する。

写真の自動加工処理にて画像の品質向上を行う場合、画像が持つ統計データに基づいて画像に対する補正処理パターンを自動的に決定し、決定した補正処理パターンに従って、対象画像に対し処理を施すことによって、写真の自動加工処理を実現している
画像データの画像特性を出力デバイスに応じて補正する画像補正プロファイルに基づいて画像を補正する技術等が知られている。

特開２００３−２５０１０９号公報 特開２００３−１１０８４４号公報

種々の補正処理を組み合わせて写真の画像を加工しても、画像の統計データから判断できる画像品質は、人間が視覚で判断するような細かな判断はできていない。自動加工処理の完成度は、凡そ７５％〜８５％であると言われている。

画像の統計データに基づいて、補正処理パターンを判断した場合には、自動加工処理では、画像が室外で撮られた写真であるのか、室内で撮られた写真であるのか等の判断ができないためである。

一方で、自動加工処理による凡そ７５％〜８５％に及ぶ完成度の画像を含めて、人間が自動加工処理後の各画像を視覚で判断することは現実的ではない。

したがって、１つの側面では、本発明は、自動加工処理の精度を向上させることを目的とする。

一態様によれば、画像データと、該画像データに関連づけられたテキストデータとを含むデータを取得し、特徴語に対応づけて画像処理種別を記憶する記憶部の記憶内容を参照して、取得した前記テキストデータから抽出した特徴語に対応する画像処理種別を特定し、特定した前記画像処理種別に基づいて、前記画像データに画像処理を施す、ことを特徴とする画像処理方法が提供される。

また、上記課題を解決するための手段として、上記方法を行う装置、コンピュータに上記処理を実行させるためのプログラム、及び、そのプログラムを記憶した記憶媒体とすることもできる。

自動加工処理の精度を向上させることができる。

写真画像の提供例を説明するための図である。 画像調整装置のハードウェア構成を示す図である。 画像調整装置の機能構成例を示す図である。 画像調整部による画像調整処理を説明するための図である。

以下、本発明の実施の形態を図面に基づいて説明する。本実施例において、写真の画像（以下、単に、写真画像という）は、主に、新聞業界等による情報配信を行う際に使用されるデジタル画像である。

写真画像から以下の統計データを得て、画像を補正する自動化処理によって、タイムリーな情報配信が行われるようになっている。
（統計データ１）明るさ情報のうち、例えば、ヒストグラムの最大値及び最小値
統計データ１は、写真画像のＨＬ（High Light）／ＳＤ（Shadow）ポイントの決定に使用される。
（統計データ２）ＨＬポイントの明るさと色、第２ＨＬポイントの明るさと色
統計データ２は、色カブリ量の推定に使用される。
（統計データ３）顔情報辞書とのマッチングと顔候補が持つ色
統計データ３は、顔を認識するために使用される。
（統計データ４）明るさ情報（ヒストグラム）
統計データ４は、明るさ情報の再配置（見え向上、コントラスト向上）で使用される。

上述した種々の統計データを使用して写真画像を補正することにより、判定する基準に寄るものの、凡そ７５％〜８５％の完成度を得る。しかしながら、写真画像の統計データを用いた処理では、その完成度に限界がある。上述した統計データでは適切に補正できない画像の例として、以下のような場合がある。

(a)室内の写真画像
室内であるのか室外であるのかは判定できない。室内の写真画像の場合、色カブリの発生頻度が高いが、統計データに基づいた補正では、色カブリ除去を十分に行なえない場合がある。

(b)人物の写真画像
写真画像が人物を含むのか否かの自動判定では、精度良く人物を判定できず、肌色への補正が十分に行なえない場合がある。

(c)夜間の写真画像
暗い状態が正しい明るさであると判定できない場合がある。

(d)相撲の写真画像
力士と土俵の黄色成分を黄色カブリと誤認識しやすく、力士と土俵の画像部分に対して黄色カブリ除去を強くしてしまう場合がある。

(e)草花の写真画像
夜桜等の写真画像では、桜の花の部分を白色と判断してしまい、不要に色カブリ除去を行ってしまう場合がある。

新聞業界では、通常、記者等から写真画像が提供される。図１は、写真画像の提供例を説明するための図である。図１において、撮影した写真画像３は、付加情報（Ｅｘｉｆ）が追加された写真画像データ２として保持される。

記者等は、情報処理端末６から電子メール等に写真画像データ２を添付し、また、電子メールの件名にキャプション５が設定されて、予め定められた宛先（例えば、新聞社の担当者宛て等）へ送信する。新聞社にて受信されると、写真画像データ２は、新聞社の画像調整装置１００に入力される。写真画像データと写真のキャプションとは、その後、写真画像データ２と写真画像３のキャプション５とがペアで扱われる。

写真画像データ２は、写真画像３と、付加情報（Ｅｘｉｆ）４とを含むようにしたデータ形式による画像データである。

付加情報４には、撮影時のカメラの機種、シャッタースピード、ＧＰＳ（Global Positioning System）から得た位置情報、ＲＧＢ種別、操作パラメータ等の情報を含み、Ｅｘｉｆと呼ばれる。付加情報（Ｅｘｉｆ）４は、カメラが備えた機能により撮像時に自動的に取得される情報、写真画像３の簡単な説明文等を含む。

キャプション５は、撮影者等が写真画像に任意に付加した説明文であり、地域名、人物名、事件名等の、情報配信の際の記事との対応付けが可能な程度に簡潔に説明した文字列である。キャプション５は、記事の編集者が、受信した写真画像３が対象となる記事を大まかに判断するために用いられているが、通常、写真画像３の画像を調整するために用いられることがないため、従来、写真画像３を補正する際には参照されることがなかった情報である。

発明者等は、このキャプション５の説明文と、付加情報４に含まれる説明文とが、写真画像３の撮影環境、撮影対象等に非常に関連があることに着目した。本実施例では、これら説明文を利用することで、人間の視覚に近い完成度にまで写真画像を調整可能とする画像調整方法、プログラム、及び装置を提供する。

本実施例における画像調整装置１００は、図２に示すようなハードウェア構成を有する。図２は、画像調整装置のハードウェア構成を示す図である。図２において、画像調整装置１００は、コンピュータによって制御される情報処理装置であって、ＣＰＵ（Central Processing Unit）１１と、主記憶装置１２と、補助記憶装置１３と、入力装置１４と、表示装置１５と、通信Ｉ／Ｆ（インターフェース）１７と、ドライブ装置１８とを有し、バスＢに接続される。

ＣＰＵ１１は、主記憶装置１２に格納されたプログラムに従って画像調整装置１００を制御する。主記憶装置１２には、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等が用いられ、ＣＰＵ１１にて実行されるプログラム、ＣＰＵ１１での処理に必要なデータ、ＣＰＵ１１での処理にて得られたデータ等を記憶又は一時保存する。

補助記憶装置１３には、ＨＤＤ（Hard Disk Drive）等が用いられ、各種処理を実行するためのプログラム等のデータを格納する。補助記憶装置１３に格納されているプログラムの一部が主記憶装置１２にロードされ、ＣＰＵ１１に実行されることによって、各種処理が実現される。主記憶装置１２及び／又は補助記憶装置１３が、記憶部１３０に相当する。

入力装置１４は、マウス、キーボード等を有し、編集者等のユーザが画像調整装置１００による処理に必要な各種情報を入力するために用いられる。表示装置１５は、ＣＰＵ１１の制御のもとに必要な各種情報を表示する。入力装置１４と表示装置１５とは、一体化したタッチパネル等によるユーザインタフェースであってもよい。通信Ｉ／Ｆ１７は、有線又は無線などのネットワークを通じて通信を行う。通信Ｉ／Ｆ１７による通信は無線又は有線に限定されるものではない。
画像調整装置１００によって行われる処理を実現するプログラムは、例えば、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）等の記憶媒体１９によって画像調整装置１００に提供される。

ドライブ装置１８は、ドライブ装置１８にセットされた記憶媒体１９（例えば、ＣＤ−ＲＯＭ等）と画像調整装置１００とのインターフェースを行う。

また、記憶媒体１９に、後述される本実施の形態に係る種々の処理を実現するプログラムを格納し、この記憶媒体１９に格納されたプログラムは、ドライブ装置１８を介して画像調整装置１００にインストールされる。インストールされたプログラムは、画像調整装置１００により実行可能となる。

尚、プログラムを格納する記憶媒体１９はＣＤ−ＲＯＭに限定されず、コンピュータが読み取り可能な、構造（structure）を有する１つ以上の非一時的（non-transitory）な、有形（tangible）な媒体であればよい。コンピュータ読取可能な記憶媒体として、ＣＤ−ＲＯＭの他に、ＤＶＤディスク、ＵＳＢメモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリであっても良い。

図３は、画像調整装置の機能構成例を示す図である。図３において、画像調整装置１００は、主に、写真画像入力部４０と、画像調整部４１と、自動加工処理部４５とを有する。写真画像入力部４０と、画像調整部４１と、自動加工処理部４５とは、画像調整装置１００にインストールされたプログラムが、画像調整装置１００のＣＰＵ１１に実行させる処理により実現される。また、記憶部１３０は、写真画像データ２、キャプション５、抽出結果６０、補正処理データ６１、調整データ６２、加工後写真画像９等が記憶されている。

写真画像入力部４０は、記者等から通信Ｉ／Ｆ１７を介して受信した写真画像データ２とキャプション５とを関連付けて記憶部１３０に保存する。写真画像データ２とキャプション５とは、簡単な保存方法として、写真画像データ２とキャプション５とを含む電子メールをそのまま保存してもよい。

画像調整部４１は、人間の視覚に近い完成度にまで写真画像３を調整する処理部であり、更に、主要語抽出部４２と、画像補正部４３と、パラメータ調整部４４とを有する。

主要語抽出部４２は、キャプション５の説明文Ａと付加情報４に含まれる説明文Ｂとから主要語を抽出する。主要語は、記事又は写真画像３の被写体に関わる単語であり、主語、名詞（人名、固有名詞等）、及び動詞である。既存の構文解析等により抽出すればよい。抽出された主要語を示す抽出結果６０が記憶部１３０に記憶される。抽出結果６０は、複数の主要語を示す場合もある。

画像補正部４３は、上述した統計情報１〜４を用いて、写真画像３に施す１以上の補正処理及びそのパラメータ値を決定する既存の処理部である。画像補正部４３によって決定された補正処理及びパラメータ値を示す補正処理データ６１が記憶部１３０に記憶される。

パラメータ調整部４４は、抽出結果６０に基づいて被写体を予測し、補正処理のパラメータ値の調整の有無を判断し、調整が必要な場合には、補正処理及びそのパラメータ値を調整する。パラメータ調整部４４によって、画像補正部４３が生成した補正処理データ６１は調整され、調整後の補正処理及びそのパラメータ値を示す調整後補正処理データ６２が記憶部１３０に記憶される。

自動加工処理部４５は、調整後補正処理データ６２に従って、写真画像３を補正する既存の処理部である。自動加工処理部４５によって加工された加工後写真画像９が記憶部１３０に記憶される。

図４は、画像調整部による画像調整処理を説明するための図である。図４において、画像調整装置１００の画像調整部４１において、主要語抽出部４２は、記憶部１３０に記憶されているキャプション５及び付加情報４から写真画像３の説明文Ａ及びＢを抽出して（ステップＳ７１）、抽出した説明文Ａ及びＢの各々から主要語を抽出する（ステップＳ７２）。抽出した主要語を示す抽出結果６０が記憶部１３０に記憶される。

画像補正部４３は、写真画像３を読み込んで、統計データ１〜４等に基づいて、補正処理を選択し、そのパラメータ値を生成する（ステップＳ７３）。補正処理及びパラメータ値を示す補正処理データ６１が記憶部１３０に記憶される。

次に、パラメータ調整部４４は、抽出結果６０から主要語を１つ選択して、選択した主要語が室内を意味する語句であるか否かを判断する（ステップＳ７４）。室内を意味する語句とは、語句「室内」そのもの、バスケットボール、バレーボール、新体操、将棋、卒業式、入社式、シンポジウム、披露宴等の通常室内で行われるイベントを表す語句である。

選択した主要語が室内を意味しない語句である場合（ステップＳ７４のＮｏ）、パラメータ調整部４４は、ステップＳ７５へと進む。一方、選択した主要語が室内を意味する語句である場合（ステップＳ７４のＹｅｓ）、パラメータ調整部４４は、補正処理データ６１から色カブリ除去を削除して（ステップＳ７４−２）、ステップＳ７５へと進む。

選択した主要語が人物を意味する語句であるか否かを判断する（ステップＳ７５）。人物を意味する語句とは、人名の他、首相、官房長官、知事、会見、会長、ＣＥＯ、社長、○○さん、○○君、サッカー、野球、マラソン等である。選択した主要語が人物を意味しない語句である場合（ステップＳ７５のＮｏ）、パラメータ調整部４４は、ステップＳ７６へと進む。一方、選択した主要語が人物を意味する語句である場合（ステップＳ７５のＹｅｓ）、パラメータ調整部４４は、補正処理データ６１の顔検出処理のパラメータ値を上げて（ステップＳ７５−２）、ステップＳ７６へと進む。

選択した主要語が夜間を意味する語句であるか否かを判断する（ステップＳ７６）。夜間を意味する語句とは、夜空、隅田川花火、夜景、ホタル、流星群、月食、夜桜等である。選択した主要語が夜間を意味しない語句である場合（ステップＳ７６のＮｏ）、パラメータ調整部４４は、ステップＳ７７へと進む。一方、選択した主要語が夜間を意味する語句である場合（ステップＳ７６のＹｅｓ）、パラメータ調整部４４は、補正処理データ６１の顔検出処理のパラメータ値を上げて（ステップＳ７６−２）、ステップＳ７７へと進む。

選択した主要語が相撲を意味する語句であるか否かを判断する（ステップＳ７７）。相撲を意味する語句とは、力士名、大関等の相撲に特有の語句である。選択した主要語が相撲を意味しない語句である場合（ステップＳ７７のＮｏ）、パラメータ調整部４４は、ステップＳ７７へと進む。一方、選択した主要語が相撲を意味する語句である場合（ステップＳ７７のＹｅｓ）、パラメータ調整部４４は、補正処理データ６１の顔検出処理のパラメータ値を上げて（ステップＳ７７−２）、ステップＳ７８へと進む。

選択した主要語が草花を意味する語句であるか否かを判断する（ステップＳ７８）。草花を意味する語句とは、桜等の草花の名前、夜桜等の語句である。選択した主要語が草花を意味しない語句である場合（ステップＳ７８のＮｏ）、パラメータ調整部４４は、ステップＳ７９へと進む。一方、選択した主要語が草花を意味する語句である場合（ステップＳ７８のＹｅｓ）、パラメータ調整部４４は、補正処理データ６１の色カブリ除去を削除し、明度補正のパラメータを下げて（ステップＳ７８−２）、ステップＳ７８へと進む。

パラメータ調整部４４は、ステップＳ７４〜Ｓ７８の調整に加えて、更に種々の調整を行ってもよい。調整後補正処理データ６２が記憶部１３０に記憶される。補正処理データ６１は、調整後補正処理データ６２によって置き換えられても良い。この場合、画像補正部４３が選択した補正処理が削除されるのではなく、補正処理毎に対応付けた、パラメータ調整部４４によって無効にするフラグで管理するようにしてもよい。

また、被写体に応じたパラメータ値の上げ下げは、画像補正部４３が決定したパラメータ値から加算又は減算する予め定めた値である。

パラメータ調整部４４による補正処理データ６１の補正処理の調整後、自動加工処理部４５によって、写真画像３に対して自動加工処理が行われる（ステップＳ７９）。自動加工処理の後、加工後写真画像９が記憶部１３０に出力される。

上述した画像調整処理によって、人間の視覚に近い完成度にまで写真画像３を調整することができる。精度良く調整された加工後写真画像９が新聞等の記事内に配置されたデータファイルが作成される。データファイルを用いて、新聞等の印刷物が大量に印刷される。

各印刷物に印刷された写真画像は、本実施例における画像調整処理により、以下の効果を奏する。

写真画像３が室内の場合、色カブリの発生頻度の高い状況であっても強い色カブリ除去処理が可能となる。また、色カブリの誤認識による処理ミスを大幅に軽減できる。処理ミスの例として、カブリの取りすぎ、色が転んで別の色になる等であり、これらを軽減できる。

写真画像３が人物の場合、主要な被写体が人物であるため、顔の探索範囲の拡大により確実に顔部分をとらえることができ、また、適切な肌色に修正することができる。

写真画像３が相撲の場合、黄色カブリと認識しやすい力士及び土俵の被写体に対し、色カブリの処理を弱めることで、力士及び土俵の黄色成分を保持することができる。

写真画像３が草花の場合、色カブリ除去を無効にすることで、桜の薄い桃色などの花の色調を保持できる。また、明るくし過ぎないことにより、高い明度、彩度の画像の階調が飛ぶことを防ぐ。

本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、主々の変形や変更が可能である。

以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
画像データと、該画像データに関連づけられたテキストデータとを含むデータを取得し、
特徴語に対応づけて画像処理種別を記憶する記憶部の記憶内容を参照して、取得した前記テキストデータから抽出した特徴語に対応する画像処理種別を特定し、
特定した前記画像処理種別に基づいて、前記画像データに画像処理を施す、
ことを特徴とする画像処理方法。
（付記２）
写真画像に関連付けられた１以上の説明文から該写真画像の被写体に係る単語を抽出し、
前記写真画像に対して、該写真画像の統計データに基づいて、補正処理と該補正処理のパラメータ値とを決定し、
抽出した前記単語から該写真画像の被写体を判定して、判定した該被写体に応じて、前記補正処理の無効化又は前記パラメータ値の増減を行う
処理をコンピュータが行う画像調整方法。
（付記３）
前記コンピュータは、
前記写真画像に関連付けられた第１の説明文を、該写真画像と共に通信インタフェースを介して受信する処理を行い、
前記第１の説明文を含む前記１以上の説明文から前記被写体に係る前記単語を抽出する
ことを特徴とする付記２記載の画像調整方法。
（付記４）
前記コンピュータは、
前記写真画像に付加される撮影時の情報から第２の説明文を抽出して、前記第１の説明文と該第２の説明文とから前記被写体に係る前記単語を抽出する
ことを特徴とする付記３記載の画像調整方法。
（付記５）
前記コンピュータは、
前記補正処理の無効化又は前記パラメータ値の増減に従って、前記写真画像を加工する
処理を行う付記２乃至４のいずれか一項記載の画像調整方法。
（付記６）
写真画像に関連付けられた１以上の説明文から該写真画像の被写体に係る単語を抽出し、
前記写真画像に対して、該写真画像の統計データに基づいて、補正処理と該補正処理のパラメータ値とを決定し、
抽出した前記単語から該写真画像の被写体を判定して、判定した該被写体に応じて、前記補正処理の無効化又は前記パラメータ値の増減を行う
処理をコンピュータに実行させる画像調整プログラム。
（付記７）
写真画像に関連付けられた１以上の説明文から該写真画像の被写体に係る単語を抽出する抽出部と、
前記写真画像に対して、該写真画像の統計データに基づいて、補正処理と該補正処理のパラメータ値とを決定する補正部と、
抽出した前記単語から該写真画像の被写体を判定して、判定した該被写体に応じて、前記補正処理の無効化又は前記パラメータ値の増減を行う調整部と
を有する画像調整装置。

２ 写真画像データ、 ３ 写真画像
４ Ｅｘｉｆ、 ５ キャプション
６ 情報処理端末
９ 加工後写真画像
１１ ＣＰＵ、
１２ 主記憶装置、 １３ 補助記憶装置
１４ 入力装置、 １５ 表示装置
１７ 通信Ｉ／Ｆ、 １８ ドライブ装置
１９ 記憶媒体
４０ 写真画像入力部
４１ 画像調整部、 ４２ 主要語抽出部
４３ 画像補正部、 ４４ パラメータ調整部
４５ 自動加工処理部
６０ 抽出結果
６１ 補正処理データ、 ６２ 調整後補正処理データ
１００ 画像調整装置
１３０ 記憶部

Claims (6)

1. 画像データと、該画像データに関連づけられたテキストデータとを含むデータを取得し、
   特徴語に対応づけて画像処理種別を記憶する記憶部の記憶内容を参照して、取得した前記テキストデータから抽出した特徴語に対応する画像処理種別を特定し、
   特定した前記画像処理種別に基づいて、前記画像データに画像処理を施す、
   ことを特徴とする画像処理方法。
2. 写真画像に関連付けられた説明文から該写真画像に含まれる被写体に係る単語を抽出し、
   前記写真画像に対して、該写真画像の統計データに基づいて、補正処理と該補正処理のパラメータ値とを決定し、
   抽出した前記単語から該写真画像に含まれる被写体を特定して、特定した該被写体に応じて、前記補正処理の無効化又は前記パラメータ値の増減を行う
   処理をコンピュータが行う画像調整方法。
3. 前記コンピュータは、
   前記写真画像に関連付けられた第１の説明文を、該写真画像と共に通信インタフェースを介して受信する処理を行い、
   前記第１の説明文を含む前記１以上の説明文から前記被写体に係る前記単語を抽出する
   ことを特徴とする請求項２記載の画像調整方法。
4. 前記コンピュータは、
   前記写真画像に付加される撮影時の情報から第２の説明文を抽出して、前記第１の説明文と該第２の説明文とから前記被写体に係る前記単語を抽出する
   ことを特徴とする請求項３記載の画像調整方法。
5. 写真画像に関連付けられた説明文から該写真画像に含まれる被写体に係る単語し、
   前記写真画像に対して、該写真画像の統計データに基づいて、補正処理と該補正処理のパラメータ値とを決定し、
   抽出した前記単語から該写真画像に含まれる被写体を特定して、特定した該被写体に応じて、前記補正処理の無効化又は前記パラメータ値の増減を行う
   処理をコンピュータに実行させる画像調整プログラム。
6. 写真画像に関連付けられた説明文から該写真画像に含まれる被写体に係る単語を抽出する抽出部と、
   前記写真画像に対して、該写真画像の統計データに基づいて、補正処理と該補正処理のパラメータ値とを決定する補正部と、
   抽出した前記単語から該写真画像に含まれる被写体を特定して、特定した該被写体に応じて、前記補正処理の無効化又は前記パラメータ値の増減を行う調整部と
   を有する画像調整装置。