JP2004242099A

JP2004242099A - Color distortion correction method, color distortion correction device, mobile terminal, program, and storage medium

Info

Publication number: JP2004242099A
Application number: JP2003029920A
Authority: JP
Inventors: Hironori Suzuki; 裕紀鈴木; Toshiki Iso; 俊樹磯; Keitoku Isoda; 佳徳礒田; Toshiaki Sugimura; 利明杉村
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2003-02-06
Filing date: 2003-02-06
Publication date: 2004-08-26

Abstract

<P>PROBLEM TO BE SOLVED: To provide a color distortion correction technology which effectively uses a photographing region for a photographing object and conducts correction processing of correcting color distortion in an image obtained by photographing the photographing object, in a short period of time. <P>SOLUTION: A color data conversion function K1 comprises a correction parameter storage function K2 for storing color conversion parameters for correcting color distortion and illumination parameters indicating features of illumination conditions into a correction parameter database 19a, by associating each other using each image data representing each image obtained by photographing a color chart under a plurality of illumination conditions; and an image conversion function K3 for estimating illumination parameters for image data representing the image obtained by photographing the photograph object including a white region under an arbitrary illumination condition, and for outputting correction image data representing a color distortion corrected image, using color conversion parameters associated with the illumination parameters and stored in the correction parameter database 19a. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、任意の照明条件下で白色領域を含む撮影対象を撮影して得られる画像に対し、照明条件の違いによる色歪みを補正するための技術に関する。
【０００２】
【従来の技術】
一般的に、撮影対象が撮影される際に撮影対象に当たる照明の具合、即ち照明条件の違いによって、撮影された画像における撮影対象の色は微妙に異なるものである。このような照明条件の違いに応じた色の違い、即ち色歪みを補正するためのカラー画像変換装置が特許文献１に記載されている。このカラー画像変換装置には、補正基準となる所定の照明条件の下で撮影された各色票を含むカラーチャートの画像の情報が予め記憶されている。また、このカラー画像変換装置で扱われる撮影対象は、各色票を含むカラーチャートとともに撮影される。そして、この画像変換装置は、撮影対象と共に撮影されたカラーチャートに含まれる各色票に関する画像情報と、予め記憶されたカラーチャートに含まれる各色票に関する画像情報との対応関係を導出し、この対応関係を用いて、撮影対象を撮影して得られる画像の色歪みを補正する。
【０００３】
【特許文献１】
特開２００２−１５２７６８号公報
【０００４】
【発明が解決しようとする課題】
しかし、このカラー画像変換装置によれば、被写界内、即ち、撮影対象を撮影するための撮影領域内に、カラーチャートを撮影するための領域が必要となる。このため、撮影領域が小さい場合には、撮影領域に占めるカラーチャートの割合が大きくなり、撮影される撮影対象の占める割合が小さくなる恐れがある。
また、カラーチャートに含まれる色票毎に上述の対応関係を導出するため、画像の色歪みを補正する処理に時間が掛かってしまう。
【０００５】
そこで、本発明は、以上説明した事情に鑑みてなされたものであり、撮影対象を撮影するための撮影領域を有効に使用することができ、撮影対象を撮影して得られる画像の色歪みを補正する処理を短時間で行うことができる色歪み補正技術を提供する。
【０００６】
【課題を解決するための手段】
本発明は、複数の異なる照明条件下で複数の異なる色票を有するカラーチャートを撮影して得られる各画像を表す各画像データを用いて、各照明条件の特徴を示す照明条件情報と、各照明条件下における画像の色歪みを補正するための色変換情報とを求め、求めた前記照明条件情報と前記色変換情報とを関連付けて記憶手段に予め記憶させる補正パラメータ記憶ステップと、任意の照明条件下で白色領域を含む撮影対象を撮影して得られる画像を表す画像データを取得する対象取得ステップと、前記対象取得ステップで取得された画像データについて、その照明条件を推定する推定ステップと、前記推定ステップで推定された照明条件の特徴を示す照明条件情報と関連付けられて前記記憶手段に記憶されている色変換情報を用いて、前記対象取得ステップで取得された画像データを変更することにより、当該画像データで表される画像の色歪みを補正する補正ステップとを備えることを特徴とする色歪み補正方法を提供する。
【０００７】
また、本発明は、情報を記憶する記憶手段と、複数の異なる照明条件下で複数の異なる色票を有するカラーチャートを撮影して得られる各画像を表す各画像データを用いて、各照明条件の特徴を示す照明条件情報と、各照明条件下における画像の色歪みを補正するための色変換情報とを求め、求めた前記照明条件情報と前記色変換情報とを関連付けて前記記憶手段に予め記憶させる補正パラメータ記憶手段と、任意の照明条件下で白色領域を含む撮影対象を撮影して得られる画像を表す画像データを取得する対象取得手段と、前記対象取得手段で取得された画像データについて、その照明条件を推定する推定手段と、前記推定手段で推定された照明条件の特徴を示す照明条件情報と関連付けられて前記記憶手段に記憶されている色変換情報を用いて、前記対象取得手段で取得された画像データを変更することにより、当該画像データで表される画像の色歪みを補正する補正手段とを備えることを特徴とする色歪み補正装置を提供する。
【０００８】
また、本発明は、情報を記憶する記憶手段と、複数の異なる照明条件下で複数の異なる色票を有するカラーチャートを撮影して得られる各画像を表す各画像データを用いて、各照明条件の特徴を示す照明条件情報と、各照明条件下における画像の色歪みを補正するための色変換情報とを求め、求めた前記照明条件情報と前記色変換情報とを関連付けて前記記憶手段に予め記憶させる補正パラメータ記憶手段と、任意の照明条件下で白色領域を含む撮影対象を撮影して得られる画像を表す画像データを取得する対象取得手段と、前記対象取得手段で取得された画像データについて、その照明条件を推定する推定手段と、前記推定手段で推定された照明条件の特徴を示す照明条件情報と関連付けられて前記記憶手段に記憶されている色変換情報を用いて、前記対象取得手段で取得された画像データを変更することにより、当該画像データで表される画像の色歪みを補正する補正手段とを備えることを特徴とする携帯端末を提供する。
【０００９】
また、本発明は、コンピュータに、複数の異なる照明条件下で複数の異なる色票を有するカラーチャートを撮影して得られる各画像を表す各画像データを用いて、各照明条件の特徴を示す照明条件情報と、各照明条件下における画像の色歪みを補正するための色変換情報とを求め、求めた前記照明条件情報と前記色変換情報とを関連付けて記憶手段に予め記憶させる補正パラメータ記憶ステップと、任意の照明条件下で白色領域を含む撮影対象を撮影して得られる画像を表す画像データを取得する対象取得ステップと、前記対象取得ステップで取得された画像データについて、その照明条件を推定する推定ステップと、前記推定ステップで推定された照明条件の特徴を示す照明条件情報と関連付けられて前記記憶手段に記憶されている色変換情報を用いて、前記対象取得ステップで取得された画像データを変更することにより、当該画像データで表される画像の色歪みを補正する補正ステップとを実行させるためのプログラムを提供する。
【００１０】
また、本発明は、上述のプログラムを記憶した記憶媒体を提供する。
【００１１】
本発明によれば、複数の異なる照明条件下で複数の異なる色票を有するカラーチャートを撮影して得られる各画像を表す各画像データを用いて、各照明条件の特徴を示す照明条件情報と、各照明条件下における画像の色歪みを補正するための色変換情報とを求め、求めた前記照明条件情報と前記色変換情報とを関連付けて記憶手段に予め記憶させる。そして、任意の照明条件下で白色領域を含む撮影対象を撮影して得られる画像を表す画像データを取得し、この画像データについて、その照明条件を推定する。次いで、推定した照明条件の特徴を示す照明条件情報と関連付けられて前記記憶手段に記憶されている色変換情報を用いて、当該画像データを変更することにより、当該画像データで表される画像の色歪みを補正する。
【００１２】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、実施の形態を説明するための全図において、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
【００１３】
（１．色歪み補正装置１の構成）
＜ハードウェア構成＞
図２は、色歪み補正装置１のハードウェア構成を示すブロック図である。
画像入力部１２は、図示しないスキャナと、このスキャナの走査制御を行う駆動回路と、スキャナによって走査された情報をアナログからディジタルに変換するＡ／Ｄ変換回路とを有する。画像入力部１２は、ユーザにより画像がスキャナにセットされると、スキャナにてこの画像の情報を走査し、走査された情報をＡ／Ｄ変換回路にてデジタル化して、画像データを生成し、これをＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１０に供給する。
操作入力部１３は、数字や文字、操作指示などを入力するための複数のキーを備え、これらのキーの操作に応じた操作信号をＣＰＵ１０に出力する。
表示部１４は、画像データをカラーで表示可能な表示パネルと、この表示パネルの表示制御を行う駆動回路とを有する。なお、この表示パネルにおいてカラー表示の際に用いる表色系は、任意の表色系で良い。
ＣＰＵ１０は、記憶部１６に記憶されている各種プログラムを実行することにより、バス１１を介して接続されている装置各部を制御する。
記憶部１６は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１７と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１８と、ＨＤ（ＨａｒｄＤｉｓｋ）１９とを有している。
ＲＯＭ１７には、色歪み補正装置１の装置各部の基本制御を司るプログラムが記憶されている。また、ＲＡＭ１８は、ＣＰＵ１０のワークエリアとして用いられ、ＲＡＭ１８には、ＣＰＵ１０により実行される各種のプログラムやデータが一時的に記憶される。
【００１４】
ＨＤ（ＨａｒｄＤｉｓｋ）１９には、色歪み補正装置１のオペレーティングシステムなどが記憶されている。また、以下の機能的構成欄で説明する機能をＣＰＵ１０に実現させるためのプログラムと、その機能が実現される際に用いられる補正パラメータデータベース１９ａ及び補正の基準となるカラーチャートに関する基準データとが記憶されている。なお、カラーチャートとは、図３に示されるように、白色の色票を含むｎ個の異なる色票を有しているものである。また、基準データとは、このようなカラーチャートに含まれる各色票についてディジタルデータ化されたものである。そして、この基準データに含まれる各色票に関するデータ（以下、基準色票データという）が、それぞれ各色票における真の色を示すデータであり、色票毎の色相の値と彩度の値と明度の値とから構成される。本実施形態においては、画像データの各色に関するデータを、各色に対応する真の色を示すデータに変換することを、色歪みを補正する、という。なお、以下では、色相の値と彩度の値と明度の値とを合わせて画素値という。
【００１５】
＜機能的構成＞
図１は、ＣＰＵ１０によって実現される機能を例示するブロック図である。これらの機能は、１点鎖線の中に示した部分に示されている。
ＣＰＵ１０によって実現される機能を１つに集約したものが、カラーデータ変換機能Ｋ１である。カラーデータ変換機能Ｋ１は、任意の照明条件下で白色領域を含む撮影対象を撮影して得られる画像（以下、対象画像という）を表す画像データ（以下、対象画像データという）が画像入力部１２から供給されると、この対象画像データに対し、照明条件の違いによる色歪みを補正した画像を表す画像データ（以下、補正画像データという）を出力する機能である。このカラーデータ変換機能Ｋ１は、補正パラメータ記憶機能Ｋ２と、画像変換機能Ｋ３とに大別される。
【００１６】
補正パラメータ記憶機能Ｋ２は、カラーチャート画像取得機能Ｋ２１と、表色系変換機能Ｋ２２と、基準データ取得機能Ｋ２３と、照明パラメータ算出機能Ｋ２４と、カラー変換パラメータ算出機能Ｋ２５と、データベース記憶機能Ｋ２６とを集約した機能である。この補正パラメータ記憶機能Ｋ２の大略は、複数の照明条件下で撮影されたカラーチャート画像の画像データと、補正の基準となるカラーチャートに関する基準データとを用いて、照明条件の特徴を示す照明パラメータと当該照明条件下における色歪みを補正するためのカラー変換パラメータとを求め、これらを関連付けて補正パラメータデータベース１９ａに記憶させる、ことである。
【００１７】
カラーチャート画像取得機能Ｋ２１は、複数の異なる照明条件下で複数の異なる色票を有するカラーチャートを撮影して得られる各画像を表す各画像データ（以下、カラーチャート画像データという）を画像入力部１２から取得する機能である。
表色系変換機能Ｋ２２は、カラーチャート画像取得機能Ｋ２１により取得されたカラーチャート画像データに含まれる各画素について、画素毎に画素値を算出して、このカラーチャート画像データの表色系を、色相と彩度と明度とを軸とする表色系に変換する機能である。
基準データ取得機能Ｋ２３は、補正の基準となるカラーチャートに関する基準データを取得する機能である。なお、本実施形態においては、基準データとして、ＨＤ１９に予め記憶されているものを用いる。しかし、上述のカラーチャート画像取得機能Ｋ２１によって取得され表色系変換機能Ｋ２２によって変換された画像データのうち、ある特定の照明条件下における画像データを選択し、これを基準データとして用いるようにしても良い。
照明パラメータ算出機能Ｋ２４は、表色系変換機能Ｋ２２によりその表色系が変換されたカラーチャート画像データを用いて、このカラーチャート画像が撮影された時の照明条件の特徴を示す照明パラメータを算出する機能である。
カラー変換パラメータ算出機能Ｋ２５は、基準データ取得機能Ｋ２３により取得された基準データの各基準色票データと、表色系変換機能Ｋ２２によりその表色系が変換された各カラーチャート画像データに含まれるｎ個の各色票に対応するデータ部分（以下、色票データという）との対応関係を求めることにより、照明条件毎に、色歪み補正のためのカラー変換パラメータを算出する機能である。
データベース記憶機能Ｋ２６は、照明パラメータ算出機能Ｋ２４により算出された照明パラメータと、カラー変換パラメータ算出機能Ｋ２５により算出されたカラー変換パラメータと（以下、これらを合わせて補正パラメータという）を関連付けて補正パラメータデータベース１９ａに記憶させる機能である。
【００１８】
画像変換機能Ｋ３は、対象画像データに対する照明パラメータを推定する推定機能Ｋ３００と、対象データに表される画像の色歪みを補正する補正機能Ｋ３０１とに大別される。推定機能Ｋ３００は、表色系変換機能Ｋ３１、照明パラメータ算出機能Ｋ３２、照明条件検出機能Ｋ３３とを集約した機能である。補正機能Ｋ３０１は、カラー変換パラメータ選択機能Ｋ３４、カラー変換機能Ｋ３５、表色系逆変換機能Ｋ３６とを集約した機能である。
【００１９】
表色系変換機能Ｋ３１は、画像入力部１２から供給された対象画像データに含まれる各画素について、画素毎に画素値を算出し、当該画像データの表色系を、色相と彩度と明度とを軸とする表色系に変換する機能である。
照明パラメータ算出機能Ｋ３２は、表色系変換機能Ｋ３１によりその表色系が変換された対象画像データの照明パラメータを暫定的に算出する機能である。照明条件検出機能Ｋ３３は、照明パラメータ算出機能Ｋ３２により算出された照明パラメータと最も類似する照明パラメータを検出する機能である。この照明条件検出機能Ｋ３３により検出された照明パラメータが表す照明条件が、対象画像データに対する照明条件であると推定される。
カラー変換パラメータ選択機能Ｋ３４は、照明条件検出機能Ｋ３３により検出された照明パラメータを補正パラメータデータベース１９ａから読み出し、その照明パラメータに関連付けられて記憶されているカラー変換パラメータを選択する機能である。
カラー変換機能Ｋ３５は、カラー変換パラメータ選択機能Ｋ３４により選択されたカラー変換パラメータを用いて対象画像データを変更することにより、当該対象画像データに表される画像の色歪みを補正する機能である。
表色系逆変換機能Ｋ３６は、カラー変換機能Ｋ３５により変更された対象画像データの表色系（色相と彩度と明度とを軸とする表色系）を、表色系変換機能Ｋ３１により変換される前の表色系に変換することにより、補正画像データを出力する機能である。
【００２０】
（２．動作）
次に本実施形態の動作について説明する。本実施形態では、まず、事前に▲１▼補正パラメータを補正パラメータデータベース１９ａに記憶させる。その後、必要に応じて▲２▼撮影対象の画像に対する画像データの色歪みを補正する。そこで、まず、▲１▼に関する動作について説明する。
＜▲１▼補正パラメータの記憶動作＞
まず、ユーザは、図３に示されるようなｎ個の色票を有するカラーチャートを、異なるｋ個の照明条件下で、任意の撮影機を用いて撮影しておく。即ち、ｋ個のカラーチャート画像を用意しておく。なお、撮影の際には、カラーチャートと撮影機との位置関係を固定するようにすれば、各カラーチャート画像において白色の色票が現れる位置が固定されるため、更に良い。
そして、ユーザは、これらｋ個のカラーチャート画像を、色歪み補正装置１の画像入力部１２にそれぞれセットする。すると画像入力部１２は、セットされた各カラーチャート画像を表す画像データ（カラーチャート画像データ）をそれぞれ生成し、これらｋ個のカラーチャート画像データをＣＰＵ１０に供給する。ＣＰＵ１０は、供給されたｋ個のカラーチャート画像データを一時的にＲＡＭ１８に記憶させる。
次いで、ユーザは、操作入力部１３を操作することにより、ＲＡＭ１８に記憶されているｋ個のカラーチャート画像データに対して１つずつ、以下に説明する照明パラメータ算出処理をＣＰＵ１０に行わせる。
【００２１】
図６は、照明パラメータ算出処理の流れを示すフローチャートである。
まず、ユーザは、操作入力部１３を操作することにより、ＲＡＭ１８に記憶されているカラーチャート画像データのうち、１つを表示部１４に表示させる。すると、表示部１４には、このカラーチャート画像データによって表されるカラーチャート画像が表示される。そして、ユーザは、操作入力部１３を操作することにより、表示されたカラーチャート画像のうち、白色に表示されている白色領域を指定する（ステップＳ１０）。すると、ＣＰＵ１０は、このカラーチャート画像を表すカラーチャート画像データのうち、指定された白色領域に対応するデータ部分に含まれる各画素について、画素毎の画素値を算出する（ステップＳ１１）。次いで、指定された白色領域に対応するデータ部分に含まれる全ての画素について、画素値の算出を終えると、これらの画素値の平均値を算出する（ステップＳ１２）。なお、以下では、画素値の平均値を平均画素値という。そして、ＣＰＵ１０は、この平均画素値をこのカラーチャート画像データに対する照明パラメータとして、ＲＡＭ１８に一時的に記憶させる。
以上のようにして、ユーザは、１つのカラーチャート画像データに対し、照明パラメータ算出処理をＣＰＵ１０に行わせる。そして、ユーザは、残りの（ｋ−１）個のカラーチャート画像データについても同様に照明パラメータ算出処理をＣＰＵ１０に行わせる。これにより、ｋ個の各照明条件に対応した各照明パラメータが算出される。
【００２２】
次いで、ユーザが操作入力部１３を操作することにより、照明パラメータ算出処理の終了を指示すると、ＣＰＵ１０は、次に、以下に説明するカラー変換パラメータ算出処理を行う。図７は、カラー変換パラメータ算出処理の流れを示すフローチャートである。
まず、ＣＰＵ１０は、ＲＡＭ１８に記憶されているｋ個のカラーチャート画像データのうち、１つのカラーチャート画像データを読み出し、このカラーチャート画像データに含まれる各色票データについても、色票毎に、平均画素値を算出する（ステップＳ２０）。
【００２３】
次いで、ＣＰＵ１０は、ニューラルネットワークの学習を行い（ステップＳ２１）、図４に示されるようなニューラルネットワークを構築する。このニューラルネットワークの学習の際には、学習データを、ＨＤ１９に記憶されている各基準色票データに対する各平均画素値とし、教師データを、ステップＳ２０で算出した各色票データに対する各平均画素値とし、予め定められたニューラルネットワークの階層数やユニット数や学習則などの各種パラメータを用いる。なお、学習則として、バックプロパゲーションやヘッブ学習などの学習則を用いれば良い。
そして、ＣＰＵ１０は、このニューラルネットワークに基づいて、重み係数を算出する。この重み係数が、このカラーチャート画像データに対するカラー変換パラメータとなる。
【００２４】
次いで、ＣＰＵ１０は、ＲＡＭ１８に記憶されている残りの（ｋ―１）個のカラーチャート画像データについても同様に、データ毎にステップＳ２０〜Ｓ２１の処理を行う。そして、ｋ個全てのカラーチャート画像データについてステップＳ２０〜Ｓ２１の処理を終えると、ステップＳ２２の判定結果が肯定的となり、ＣＰＵ１０は、各カラーチャート画像データに対するカラー変換パラメータと、上述の照明パラメータ算出処理で算出された各カラーチャート画像データに対する照明パラメータとを関連付けて、補正パラメータデータベース１９ａに記憶させる。
【００２５】
＜▲２▼対象画像の色歪み補正動作＞
次に、対象画像の色歪みを補正する動作について説明する。
本実施形態で用いる撮影対象は、図５に示されるような白色領域を含むカラーバーコードとする。対象画像は、このようなカラーバーコードが任意の照明条件下で任意の撮影機で撮影された画像とする。
【００２６】
ユーザは、操作入力部１３を操作することにより、この対象画像を画像入力部１２にそれぞれセットする。すると画像入力部１２は、セットされた対象画像を表す画像データ（対象画像データ）を生成し、これをＣＰＵ１０に供給する。ＣＰＵ１０は、供給された対象画像データを一時的にＲＡＭ１８に記憶させる。
次いで、ＣＰＵ１０は、この対象画像データに含まれる全ての画素について、画素毎に画素値を算出する。これにより、この対象画像データの表色系を、色相と彩度と明度とを軸とする表色系に変換する。そして、以下に説明する照明パラメータ推定処理を行う。
【００２７】
図８は、照明パラメータ推定処理の流れを示すフローチャートである。
ＣＰＵ１０は、この対象画像データに含まれる全ての画素のうち、画素値に含まれる彩度が予め定められた閾値Ｔ_ｓ以下となる画素を抽出し、これらをＲＡＭ１８に記憶させる（ステップＳ３０）。そして、ＲＡＭ１８に記憶された画素のうち、画素値に含まれる明度が最大の画素を選択する（ステップＳ３１）。なお、白色は、彩度の値が小さく明度の値が大きいことから、ステップＳ３１で選択された画素が、白色の画素であると推定される。
【００２８】
次いで、ＣＰＵ１０は、選択された画素を中心とする近傍画素を選択する。ここでは、近傍画素として、一次近傍の画素を選択する。また、説明の便宜上、この一次近傍の画素に対して、中心となる画素（以下、中心画素という）の左右上下の順で１〜４の識別子を与える。そして、ＣＰＵ１０は、各近傍画素ｉ（ｉ＝１〜４：近傍画素の識別子）についてそれぞれ、中心画素との色空間上の距離ｄ_ｉを算出する（ステップＳ３２）。このとき、近傍画素ｉの画素値及び中心画素の画素値を用いて算出する。なお、近傍画素として、二次近傍の画素を選択するようにしても良いし、選択された画素を中心とする半径Ｒ内の画素を選択しても良い。
【００２９】
次いで、ＣＰＵ１０は、距離ｄ_ｉ（ｉ＝１〜４）の全てが予め定められた閾値Ｔ_ｄ以下であるか否かを判定する（ステップＳ３３）。なお、距離ｄ_ｉが閾値Ｔ_ｄ以下であれば、この近傍画素ｉは白色の画素であると推定され、距離ｄ_ｉが閾値Ｔ_ｄより大きければ、この近傍画素ｉは白色の画素でないと推定される。そして、ステップＳ３３の判定結果が肯定的であれば、ＣＰＵ１０は、中心画素と近傍画素（ｉ＝１〜４）から構成される領域を白色領域と判定する。以上のようにしてＣＰＵ１０は、対象画像に含まれる白色領域を推定する。そして、これらの画素の平均画素値を算出する（ステップＳ３４）。この平均画素値が、この対象画像データの暫定的な照明パラメータ（以下、暫定照明パラメータという）となる。
【００３０】
なお、ステップＳ３３の判定結果が否定的であれば、ＣＰＵ１０は、ＲＡＭ１８に記憶されている（彩度が閾値Ｔ_ｓ以下の画素）のうち、明度が最大の画素を取り除き（ステップＳ３５）、ステップＳ３１に移行する。
【００３１】
ステップＳ３４の後、ＣＰＵ１０は、対象画像データの暫定照明パラメータと、補正パラメータデータベース１９ａに記憶されているｋ個の各照明条件の照明パラメータとの各ユークリッド距離を算出する。そして、これらの距離のうち、最小の距離を検出し、この最小の距離となるときの照明パラメータを検出する。以上のようにして、この対象画像データの照明パラメータを推定する。次いで、ＣＰＵ１０は、補正パラメータデータベース１９ａから、この照明パラメータに関連付けられて記憶されているカラー変換パラメータ（ここでは、ニューラルネットワークの重み係数）を読み出す。なお、本実施形態では、照明パラメータの推定に最短距離を用いたが、単純類似度を用いても良い。
【００３２】
次いで、ＣＰＵ１０は、読み出したカラー変換パラメータを用いて、ＲＡＭ１８に記憶されている対象画像データに含まれる各画素の画素値を変換することにより、この対象画像データに表される画像の色歪みを補正する。その後、この対象画像データの表色系を、色相と彩度と明度とを軸とする表色系に変換する前の表色系に変換する。そして、変換した対象画像データを出力する。以上のようにして、対象画像データに対し、色歪みを補正した画像を表す補正画像データを出力する。
【００３３】
上述した色歪み補正装置１は、撮影対象と共にカラーチャートが撮影されなくとも、この撮影対象が撮影された際の照明条件を推定することで、この撮影対象の画像の色歪みを補正することができる。従って、カラーバーコードなどの情報が撮影されたＩＤタグなどの小さい対象画像を扱う場合には、好適である。更に、対象画像データに含まれる各色のデータそのものを分析することなく、白色領域のデータのみを分析することで、各色の歪みを補正するため、時間を掛けずに、色歪み補正のための処理を行うことができる。従って、物流管理などに用いられる上記ＩＤタグなどのように、短時間で色歪み補正処理が行われることが必要な対象画像に対しても、好適である。
【００３４】
なお、カラーチャート及び撮影対象が、ディジタルカメラなどの撮影画像をディジタル画像データとして出力する撮影機で撮影された場合には、撮影された画像データは、画像入力部１２を介さず、図示しない外部インターフェースを介してＣＰＵ１０に供給されるような構成としても良い。
【００３５】
（３．変形例）
以上、本発明の実施形態について説明したが、本発明はその主要な特徴から逸脱することなく他の様々な形態で実施することが可能である。なお、変形例としては、例えば、以下のようなものが考えられる。
【００３６】
＜１．カラー変換パラメータ算出処理の他の例＞
上述のカラー変換パラメータ算出処理では、カラー変換パラメータをニューラルネットワークを用いて算出するようにしたが、線形変換を用いて算出するようにしても良い。なお、本変形例の構成については、上述の実施形態と略同様であるため、その説明を省略する。また、本変形例の動作についても、上述の＜▲１▼補正パラメータの記憶動作＞において説明した照明パラメータ算出処理が終了するまでの動作は、上述の実施形態と略同様であるため、その説明を省略する。
ＣＰＵ１０は、照明パラメータ算出処理を終えると、次に、上述の処理と同様に、ＨＤ１９に記憶されている基準データに含まれる各基準色票データの各画素値と、ＲＡＭ１８に記憶されているｋ個のカラーチャート画像データのうち、１つのカラーチャート画像データに含まれる各色票データの各平均画素値とを算出する。
次いで、ＣＰＵ１０は、学習データを、各色票データに対する各平均画素値とし、教師データを、各基準色票データに対する各画素値とし、以下の変換行列算出処理を行う。
【００３７】
図９に、変換行列算出処理の流れを示す。
ＣＰＵ１０は、学習データと教師データとについて、それぞれ対応する１色の色票を代表色票として選択し、この代表色票に関する画素値（以下、代表画素値という）を学習データと教師データとからそれぞれ選択する。そして、学習データの代表画素値を、教師データの代表画素値に変換するための変換行列の係数を算出する（ステップＳ４０）。図１０に、これらの学習データ、教師データ、及び変換行列の例を示す。同図においては、教師データのＨ_ｔ（ｔ＝１〜ｎ）は色相の値を表し、Ｓ_ｔ（ｔ＝１〜ｎ）は彩度の値を表し、Ｉ_ｔ（ｔ＝１〜ｎ）は明度の値を表し、これらは、３行１列の行列として表されている。同様に、学習データのＨ_ｌ（ｌ＝１〜ｎ）は色相の値を表し、Ｓ_ｌ（ｌ＝１〜ｎ）は彩度の値を表し、Ｉ_ｌ（ｌ＝１〜ｎ）は明度の値を表し、これらは、３行１列の行列として表されている。変換行列は、３行３列の行列として表されており、変換行列の各ａ_ｐｑ（Ｐ＝１〜３、ｑ＝１〜３）は、それぞれｐ行ｑ列目における係数を表している。そして、学習データの代表画素値は、この変換行列を用いて行列変換が行われると、教師データの代表画素値に変換される。
【００３８】
次いで、ＣＰＵ１０は、学習データに含まれる代表色票以外の各色票に関する平均画素値について、この変換行列を用いて行列変換を行い、各色票に関する変換後の平均画素値（以下、変換画素値という）を算出する（ステップＳ４１）。そして、各色票関する変換画素値と、教師データに含まれる各基準色票に関する画素値とについて、対応する色票のデータ毎に誤差（ここでは、２乗平均誤差）を求める。更に、これらの誤差の合計（以下、２乗平均誤差合計という）を算出する（ステップＳ４２）。
【００３９】
次いで、上述の代表画素値を除いた各色票データの画素値の中から１色の色票に関する画素値を選択し、これを新たな代表画素値として、ステップＳ４０〜Ｓ４２の処理を行い、この新たな代表画素値に対応する変換行列とこれに基づく２乗平均誤差合計とを算出する。以上のようにして、カラーチャートに含まれる全ての色票について、各色票を代表色票として、ステップＳ４０〜Ｓ４２の処理を行い、各代表画素値に対応する変換行列とこれに基づく２乗平均誤差合計とをそれぞれ算出する。そして、全ての代表色票についてステップＳ４０〜Ｓ４２の処理が終えると、ステップＳ４３の判定において判定結果が肯定的となり、ステップＳ４４の処理に移行する。ステップＳ４４では、ＣＰＵ１０は、各代表色票に対する代表画素値に対応する２乗平均誤差合計のうち、最小の値を検出する。次いで、この代表画素値に対する変換行列を検出する（ステップＳ４３）。この変換行列が、この照明条件下で撮影されたカラーチャート画像データに対するカラー変換パラメータとなる。
【００４０】
ＣＰＵ１０は、以上のようなステップＳ４０〜ステップＳ４４の変換行列処理を残りの（ｋ−１）個のカラーチャート画像データについても行うことにより、ｋ個の各照明条件下におけるカラーチャート画像データに対応するカラー変換パラメータ（ここでは、変換行列）を得る。ＣＰＵ１０は、これらを上述のカラー変換パラメータ算出処理と同様にして、各カラーチャート画像データに対する照明パラメータと関連付けてそれぞれ補正パラメータデータベース１９ａに記憶させる。
【００４１】
その後、対象画像データの色歪み補正の際に、この対象画像データに対応するカラー変換パラメータを補正パラメータデータベース１９ａから読み出し、この対象画像データに含まれる画素毎の画素値を線形変換により変換するようにすれば良い。
【００４２】
＜２．携帯端末に色歪み補正装置１の機能を備える＞
上述した色歪み補正装置１の機能を、無線通信機能を有する携帯端末に備える構成としても良い。更に、撮影機能を有する携帯端末に備える構成とすれば、この携帯端末でいつでもどこでもカラー画像を撮影することができるうえに、撮影時の照明条件を問わず、所定の照明条件下で撮影されたカラー画像と同等のカラー画像を常に得ることができる。更に、得られたカラー画像を無線通信機能により他の通信装置へ送ることができるため、様々な事に応用でき得る。
【００４３】
【発明の効果】
白色領域を含む撮影対象を撮影するための撮影領域を有効に使用することができ、撮影対象を撮影して得られる画像の色歪みを補正する処理を短時間で行うことができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る色歪み補正装置１の機能的構成を示すブロック図である。
【図２】同実施形態に係る色歪み補正装置１のハードウェア構成を示すブロック図である。
【図３】同実施形態に係るカラーチャートを例示する図である。
【図４】同実施形態に係るニューラルネットワークを例示する図である。
【図５】同実施形態に係る撮影対象であるカラーバーコードを例示する図である。
【図６】同実施形態に係る照明パラメータ算出処理の流れを示すフローチャートである。
【図７】同実施形態に係るカラー変換パラメータ算出処理の流れを示すフローチャートである。
【図８】同実施形態に係る照明パラメータ推定処理の流れを示すフローチャートである。
【図９】同実施形態の他の例に係る変換行列算出処理の流れを示すフローチャートである。
【図１０】同例に係る変換行列の算出式を例示する図である。
【符号の説明】
１・・・補正装置、１１・・・バス、１２・・・画像入力部、１３・・・操作入力部、１４・・・表示部、１６・・・記憶部、１７・・・ＲＯＭ、１８・・・ＲＡＭ、１９・・・ＨＤ、１９ａ・・・補正パラメータデータベース。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technique for correcting a color distortion due to a difference in lighting conditions for an image obtained by shooting a shooting target including a white region under arbitrary lighting conditions.
[0002]
[Prior art]
In general, the color of a photographing target in a photographed image is slightly different depending on the condition of illumination applied to the photographing target when the photographing target is photographed, that is, a difference in lighting conditions. A color image conversion device for correcting a color difference according to such a difference in illumination conditions, that is, a color distortion, is described in Japanese Patent Application Laid-Open No. H11-163873. In this color image conversion apparatus, information of an image of a color chart including each color chart taken under a predetermined illumination condition serving as a correction reference is stored in advance. The object to be imaged handled by this color image conversion apparatus is imaged together with a color chart including each color chart. The image conversion apparatus derives a correspondence between image information on each color chart included in the color chart photographed together with the photographing target and image information on each color chart included in the color chart stored in advance. Using the relationship, the color distortion of the image obtained by shooting the shooting target is corrected.
[0003]
[Patent Document 1]
JP 2002-152768 A
[0004]
[Problems to be solved by the invention]
However, according to this color image conversion device, an area for photographing the color chart is required in the field, that is, in the photographing area for photographing the photographing target. For this reason, when the photographing area is small, the proportion of the color chart in the photographing area increases, and the proportion of the photographing target to be photographed may decrease.
Further, since the above-described correspondence is derived for each color chart included in the color chart, it takes time to correct the color distortion of the image.
[0005]
Therefore, the present invention has been made in view of the circumstances described above, and it is possible to effectively use a photographing area for photographing a photographing target, and to reduce color distortion of an image obtained by photographing a photographing target. Provided is a color distortion correction technique that can perform correction processing in a short time.
[0006]
[Means for Solving the Problems]
The present invention uses each piece of image data representing each image obtained by photographing a color chart having a plurality of different color patches under a plurality of different lighting conditions, using lighting condition information indicating the characteristics of each lighting condition, A correction parameter storing step of obtaining color conversion information for correcting color distortion of an image under illumination conditions, and correlating the obtained illumination condition information with the color conversion information and storing in advance in a storage unit; A target obtaining step of obtaining image data representing an image obtained by shooting a shooting target including a white region under conditions, and an image data obtained in the target obtaining step, an estimation step of estimating an illumination condition thereof; Using the color conversion information stored in the storage unit in association with illumination condition information indicating the characteristics of the illumination condition estimated in the estimation step, By changing the image data acquired by the obtained step, providing a color distortion correcting method characterized by comprising a correction step of correcting color distortion of an image represented by the image data.
[0007]
In addition, the present invention uses a storage unit for storing information and image data representing each image obtained by photographing a color chart having a plurality of different color charts under a plurality of different lighting conditions, and using each lighting condition. Lighting condition information indicating the characteristics of the above, and color conversion information for correcting color distortion of an image under each lighting condition are obtained, and the obtained lighting condition information and the color conversion information are associated with each other in advance in the storage unit. Correction parameter storage means for storing, object acquisition means for acquiring image data representing an image obtained by photographing a photographing object including a white region under arbitrary illumination conditions, and image data acquired by the object acquisition means. Estimating means for estimating the lighting condition, and color conversion information stored in the storage means in association with lighting condition information indicating characteristics of the lighting condition estimated by the estimating means. There, by changing the image data acquired by the target acquisition means, to provide a color correction apparatus, characterized in that it comprises a correcting means for correcting the color distortion of an image represented by the image data.
[0008]
In addition, the present invention uses a storage unit for storing information and image data representing each image obtained by photographing a color chart having a plurality of different color charts under a plurality of different lighting conditions, and using each lighting condition. Lighting condition information indicating the characteristics of the above, and color conversion information for correcting color distortion of an image under each lighting condition are obtained, and the obtained lighting condition information and the color conversion information are associated with each other in advance in the storage unit. Correction parameter storage means for storing, object acquisition means for acquiring image data representing an image obtained by photographing a photographing object including a white region under arbitrary illumination conditions, and image data acquired by the object acquisition means. Estimating means for estimating the lighting condition, and color conversion information stored in the storage means in association with lighting condition information indicating characteristics of the lighting condition estimated by the estimating means. There, by changing the image data acquired by the target acquisition means, to provide a mobile terminal, characterized in that it comprises a correcting means for correcting the color distortion of an image represented by the image data.
[0009]
Further, the present invention provides a computer that uses each image data representing each image obtained by photographing a color chart having a plurality of different color charts under a plurality of different lighting conditions, and uses the image data representing the characteristics of each lighting condition. A correction parameter storing step of obtaining condition information and color conversion information for correcting color distortion of an image under each lighting condition, and storing the obtained lighting condition information and the color conversion information in a storage unit in advance in a storage unit And a target obtaining step of obtaining image data representing an image obtained by shooting a shooting target including a white region under arbitrary lighting conditions, and estimating the lighting condition of the image data obtained in the target obtaining step. And a color conversion stored in the storage unit in association with lighting condition information indicating characteristics of the lighting condition estimated in the estimation step. Using broadcast, by changing the image data acquired by the target acquisition step provides a program for executing a correction step of correcting color distortion of an image represented by the image data.
[0010]
Further, the present invention provides a storage medium storing the above-mentioned program.
[0011]
According to the present invention, illumination condition information indicating the characteristics of each illumination condition, using image data representing each image obtained by photographing a color chart having a plurality of different color patches under a plurality of different illumination conditions, The color conversion information for correcting the color distortion of the image under each illumination condition is obtained, and the obtained illumination condition information and the color conversion information are stored in advance in a storage unit in association with each other. Then, image data representing an image obtained by photographing a photographing target including a white region under arbitrary lighting conditions is acquired, and the lighting conditions are estimated for the image data. Next, the image data is changed by using the color conversion information stored in the storage unit in association with the illumination condition information indicating the characteristics of the estimated illumination condition, thereby changing the image represented by the image data. Correct color distortion.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In all the drawings for describing the embodiments, components having the same function are denoted by the same reference numerals, and repeated description thereof will be omitted.
[0013]
(1. Configuration of the color distortion correction device 1)
<Hardware configuration>
FIG. 2 is a block diagram illustrating a hardware configuration of the color distortion correction device 1.
The image input unit 12 includes a scanner (not shown), a driving circuit for controlling the scanning of the scanner, and an A / D conversion circuit for converting information scanned by the scanner from analog to digital. When an image is set in the scanner by the user, the image input unit 12 scans information of the image with the scanner, digitizes the scanned information with an A / D conversion circuit, and generates image data. This is supplied to a CPU (Central Processing Unit) 10.
The operation input unit 13 includes a plurality of keys for inputting numbers, characters, operation instructions, and the like, and outputs an operation signal corresponding to the operation of these keys to the CPU 10.
The display unit 14 includes a display panel capable of displaying image data in color, and a drive circuit that controls display of the display panel. The color system used for color display in this display panel may be any color system.
The CPU 10 controls each unit of the device connected via the bus 11 by executing various programs stored in the storage unit 16.
The storage unit 16 includes a ROM (Read Only Memory) 17, a RAM (Random Access Memory) 18, and an HD (Hard Disk) 19.
The ROM 17 stores a program that controls the basic control of each unit of the color distortion correction device 1. The RAM 18 is used as a work area of the CPU 10, and various programs and data executed by the CPU 10 are temporarily stored in the RAM 18.
[0014]
The HD (Hard Disk) 19 stores an operating system of the color distortion correction apparatus 1 and the like. Further, a program for causing the CPU 10 to realize the functions described in the following functional configuration columns, a correction parameter database 19a used when the functions are realized, and reference data relating to a color chart serving as a correction reference are stored. Have been. As shown in FIG. 3, the color chart has n different color patches including a white color patch. The reference data is digital data of each color chart included in such a color chart. Data relating to each color chart included in the reference data (hereinafter referred to as reference color chart data) is data indicating a true color in each color chart, and includes a hue value, a saturation value, and a lightness value for each color chart. And the value of In the present embodiment, converting data relating to each color of image data into data indicating a true color corresponding to each color is referred to as correcting color distortion. Hereinafter, the value of hue, the value of saturation, and the value of lightness are collectively referred to as a pixel value.
[0015]
<Functional configuration>
FIG. 1 is a block diagram illustrating functions realized by the CPU 10. These functions are shown in the part shown by the dashed line.
The function realized by the CPU 10 is integrated into one to be a color data conversion function K1. The color data conversion function K1 is a function of the image input unit 12 for outputting image data (hereinafter, referred to as target image data) representing an image (hereinafter, referred to as target image) obtained by photographing a target including a white area under arbitrary lighting conditions. When the image data is supplied from the image data, the image data (hereinafter, referred to as corrected image data) representing the image in which the color distortion due to the difference in the illumination condition is corrected is output to the target image data. The color data conversion function K1 is roughly divided into a correction parameter storage function K2 and an image conversion function K3.
[0016]
The correction parameter storage function K2 includes a color chart image acquisition function K21, a color system conversion function K22, a reference data acquisition function K23, an illumination parameter calculation function K24, a color conversion parameter calculation function K25, and a database storage function K26. It is a function that aggregates The correction parameter storage function K2 is roughly based on image data of a color chart image photographed under a plurality of lighting conditions and reference data on a color chart serving as a reference for correction. And a color conversion parameter for correcting the color distortion under the illumination condition are obtained, and are stored in the correction parameter database 19a in association with each other.
[0017]
The color chart image acquisition function K21 outputs image data (hereinafter, referred to as color chart image data) representing each image obtained by photographing a color chart having a plurality of different color charts under a plurality of different lighting conditions. 12 is a function obtained from.
The color system conversion function K22 calculates a pixel value for each pixel included in the color chart image data acquired by the color chart image acquisition function K21, and converts the color system of the color chart image data into This is a function of converting into a color system based on hue, saturation, and brightness.
The reference data acquisition function K23 is a function for acquiring reference data relating to a color chart that is a reference for correction. In the present embodiment, data stored in the HD 19 in advance is used as the reference data. However, among the image data acquired by the above-described color chart image acquisition function K21 and converted by the color system conversion function K22, image data under a specific lighting condition is selected, and this is used as reference data. Is also good.
The illumination parameter calculation function K24 uses the color chart image data whose color system has been converted by the color system conversion function K22 to calculate the illumination parameters indicating the characteristics of the illumination conditions when this color chart image was taken. Function.
The color conversion parameter calculation function K25 is included in each reference color chart data of the reference data acquired by the reference data acquisition function K23 and each color chart image data whose color system is converted by the color system conversion function K22. This function calculates a color conversion parameter for color distortion correction for each lighting condition by obtaining a correspondence relationship with a data portion (hereinafter, referred to as color patch data) corresponding to each of the n color patches.
The database storage function K26 associates the illumination parameters calculated by the illumination parameter calculation function K24 with the color conversion parameters calculated by the color conversion parameter calculation function K25 (hereinafter, these are collectively referred to as correction parameters) and associates them with a correction parameter database. This function is stored in the storage area 19a.
[0018]
The image conversion function K3 is roughly classified into an estimation function K300 for estimating an illumination parameter for target image data and a correction function K301 for correcting color distortion of an image represented by the target data. The estimation function K300 is a function obtained by integrating a color system conversion function K31, an illumination parameter calculation function K32, and an illumination condition detection function K33. The correction function K301 is a function obtained by integrating a color conversion parameter selection function K34, a color conversion function K35, and a color system inverse conversion function K36.
[0019]
The color system conversion function K31 calculates a pixel value for each pixel included in the target image data supplied from the image input unit 12, and determines the color system of the image data as hue, saturation, and brightness. This is a function of converting into a color system with axes as.
The illumination parameter calculation function K32 is a function for temporarily calculating the illumination parameters of the target image data whose color system has been converted by the color system conversion function K31. The illumination condition detection function K33 is a function of detecting an illumination parameter most similar to the illumination parameter calculated by the illumination parameter calculation function K32. It is estimated that the illumination condition represented by the illumination parameter detected by the illumination condition detection function K33 is the illumination condition for the target image data.
The color conversion parameter selection function K34 is a function of reading out the illumination parameters detected by the illumination condition detection function K33 from the correction parameter database 19a and selecting a color conversion parameter stored in association with the illumination parameters.
The color conversion function K35 is a function of correcting the color distortion of the image represented by the target image data by changing the target image data using the color conversion parameter selected by the color conversion parameter selection function K34.
The color system inverse conversion function K36 converts the color system (color system based on hue, saturation, and lightness) of the target image data changed by the color conversion function K35 with the color system conversion function K31. This is a function of outputting corrected image data by converting to a color system before the correction.
[0020]
(2. Operation)
Next, the operation of the present embodiment will be described. In the present embodiment, first, (1) the correction parameters are stored in advance in the correction parameter database 19a. Thereafter, if necessary, (2) the color distortion of the image data for the image to be captured is corrected. Therefore, the operation relating to (1) will be described first.
<(1) Operation of storing correction parameters>
First, the user shoots a color chart having n number of color charts as shown in FIG. 3 using an arbitrary camera under different k lighting conditions. That is, k color chart images are prepared. In photographing, it is more preferable to fix the positional relationship between the color chart and the photographing device, since the position where a white color chart appears in each color chart image is fixed.
Then, the user sets these k color chart images in the image input unit 12 of the color distortion correction device 1. Then, the image input unit 12 generates image data (color chart image data) representing each set color chart image, and supplies the k color chart image data to the CPU 10. The CPU 10 temporarily stores the supplied k color chart image data in the RAM 18.
Next, the user operates the operation input unit 13 to cause the CPU 10 to perform an illumination parameter calculation process described below for each of the k color chart image data stored in the RAM 18.
[0021]
FIG. 6 is a flowchart illustrating the flow of the illumination parameter calculation process.
First, the user operates the operation input unit 13 to display one of the color chart image data stored in the RAM 18 on the display unit 14. Then, the display unit 14 displays a color chart image represented by the color chart image data. Then, the user operates the operation input unit 13 to specify a white area displayed in white in the displayed color chart image (step S10). Then, the CPU 10 calculates a pixel value for each pixel in the color chart image data representing the color chart image, for each pixel included in the data portion corresponding to the designated white area (step S11). Next, when the calculation of the pixel values is completed for all the pixels included in the data portion corresponding to the designated white area, the average value of these pixel values is calculated (step S12). Hereinafter, the average value of the pixel values is referred to as an average pixel value. Then, the CPU 10 temporarily stores the average pixel value in the RAM 18 as an illumination parameter for the color chart image data.
As described above, the user causes the CPU 10 to perform the illumination parameter calculation process on one piece of color chart image data. Then, the user causes the CPU 10 to similarly perform the illumination parameter calculation process on the remaining (k-1) color chart image data. Thereby, each lighting parameter corresponding to each of the k lighting conditions is calculated.
[0022]
Next, when the user operates the operation input unit 13 to instruct the end of the illumination parameter calculation process, the CPU 10 next performs a color conversion parameter calculation process described below. FIG. 7 is a flowchart showing the flow of the color conversion parameter calculation process.
First, the CPU 10 reads out one piece of color chart image data from the k pieces of color chart image data stored in the RAM 18, and also averages each color chart data included in the color chart image data for each color chart. A pixel value is calculated (Step S20).
[0023]
Next, the CPU 10 learns the neural network (step S21), and constructs a neural network as shown in FIG. At the time of learning of this neural network, the learning data is set to each average pixel value for each reference color patch data stored in the HD 19, and the teacher data is set to each average pixel value for each color patch data calculated in step S20. Various parameters such as the number of layers, the number of units, and the learning rule of a predetermined neural network are used. Note that a learning rule such as back propagation or Hebb learning may be used as the learning rule.
Then, the CPU 10 calculates a weight coefficient based on the neural network. The weight coefficient becomes a color conversion parameter for the color chart image data.
[0024]
Next, the CPU 10 similarly performs steps S20 to S21 for the remaining (k-1) color chart image data stored in the RAM 18 for each data. When the processing in steps S20 to S21 is completed for all k color chart image data, the determination result in step S22 becomes positive, and the CPU 10 determines the color conversion parameters for each color chart image data and the above-described illumination parameter calculation. The correction parameters are stored in the correction parameter database 19a in association with the illumination parameters for each color chart image data calculated in the processing.
[0025]
<(2) Operation for correcting color distortion of target image>
Next, an operation for correcting the color distortion of the target image will be described.
The imaging target used in the present embodiment is a color barcode including a white area as shown in FIG. The target image is an image obtained by photographing such a color barcode with an arbitrary photographing device under arbitrary lighting conditions.
[0026]
The user operates the operation input unit 13 to set the target image in the image input unit 12, respectively. Then, the image input unit 12 generates image data (target image data) representing the set target image, and supplies this to the CPU 10. The CPU 10 temporarily stores the supplied target image data in the RAM 18.
Next, the CPU 10 calculates a pixel value for each pixel for all the pixels included in the target image data. Thus, the color system of the target image data is converted into a color system having hue, saturation, and lightness as axes. Then, an illumination parameter estimation process described below is performed.
[0027]
FIG. 8 is a flowchart showing the flow of the illumination parameter estimation process.
The CPU 10 sets the saturation T included in the pixel value to a predetermined threshold T among all the pixels included in the target image data. _s The following pixels are extracted and stored in the RAM 18 (step S30). Then, among the pixels stored in the RAM 18, the pixel having the maximum brightness included in the pixel value is selected (Step S31). Note that, for white, since the value of saturation is small and the value of lightness is large, the pixel selected in step S31 is estimated to be a white pixel.
[0028]
Next, the CPU 10 selects a neighboring pixel centering on the selected pixel. Here, a pixel in the primary neighborhood is selected as a neighboring pixel. Further, for convenience of description, identifiers 1 to 4 are given to the pixels in the vicinity of the primary in the order of left, right, up, and down of a central pixel (hereinafter referred to as a central pixel). Then, the CPU 10 determines, for each of the neighboring pixels i (i = 1 to 4: an identifier of the neighboring pixel), the distance d in the color space from the center pixel. _i Is calculated (step S32). At this time, the calculation is performed using the pixel value of the neighboring pixel i and the pixel value of the center pixel. Note that a pixel in the secondary neighborhood may be selected as a neighboring pixel, or a pixel within a radius R around the selected pixel may be selected.
[0029]
Next, the CPU 10 calculates the distance d _i (I = 1 to 4) are all predetermined thresholds T _d It is determined whether it is the following (step S33). Note that the distance d _i Is the threshold T _d If it is less than or equal to, the neighboring pixel i is estimated to be a white pixel, and the distance d _i Is the threshold T _d If it is larger, it is estimated that the neighboring pixel i is not a white pixel. Then, if the determination result in step S33 is positive, the CPU 10 determines that the area including the center pixel and the neighboring pixels (i = 1 to 4) is a white area. As described above, the CPU 10 estimates a white area included in the target image. Then, an average pixel value of these pixels is calculated (step S34). This average pixel value becomes a temporary illumination parameter of the target image data (hereinafter, referred to as a temporary illumination parameter).
[0030]
If the result of the determination in step S33 is negative, the CPU 10 stores the data in the RAM 18 (when the saturation is _s Of the following pixels), the pixel having the highest lightness is removed (step S35), and the process proceeds to step S31.
[0031]
After step S34, the CPU 10 calculates each Euclidean distance between the provisional illumination parameter of the target image data and the illumination parameters of each of the k illumination conditions stored in the correction parameter database 19a. Then, of these distances, the minimum distance is detected, and the illumination parameter when the minimum distance is reached is detected. As described above, the illumination parameters of the target image data are estimated. Next, the CPU 10 reads out the color conversion parameters (here, the weight coefficients of the neural network) stored in association with the illumination parameters from the correction parameter database 19a. In the present embodiment, the shortest distance is used for estimating the illumination parameter, but a simple similarity may be used.
[0032]
Next, the CPU 10 converts the pixel value of each pixel included in the target image data stored in the RAM 18 using the read color conversion parameter, thereby reducing the color distortion of the image represented by the target image data. to correct. Thereafter, the color system of the target image data is converted to a color system before conversion to a color system having hue, saturation, and brightness as axes. Then, the converted target image data is output. As described above, the corrected image data representing the image obtained by correcting the color distortion with respect to the target image data is output.
[0033]
The above-described color distortion correction device 1 can correct the color distortion of the image of the photographing target by estimating the illumination condition when the photographing target is photographed even if the color chart is not photographed together with the photographing target. it can. Therefore, it is preferable to handle a small target image such as an ID tag in which information such as a color barcode is captured. Furthermore, by analyzing only the data in the white area without analyzing the data of each color included in the target image data, the processing for correcting the color distortion can be performed in a short time without correcting the distortion of each color. It can be performed. Therefore, the present invention is also suitable for a target image that needs to be subjected to color distortion correction processing in a short time, such as the above-described ID tag used for physical distribution management.
[0034]
When the color chart and the photographing target are photographed by a photographing machine that outputs a photographed image such as a digital camera as digital image data, the photographed image data does not pass through the image input unit 12 and is not shown in the figure. The configuration may be such that it is supplied to the CPU 10 via an interface.
[0035]
(3. Modified example)
As described above, the embodiments of the present invention have been described, but the present invention can be embodied in various other forms without departing from the main features. Note that, for example, the following modifications are possible.
[0036]
<1. Another example of color conversion parameter calculation processing>
In the above-described color conversion parameter calculation processing, the color conversion parameter is calculated using a neural network, but may be calculated using linear conversion. Note that the configuration of this modification is substantially the same as that of the above-described embodiment, and a description thereof will be omitted. Also, regarding the operation of the present modified example, the operation until the illumination parameter calculation processing described in <1> Operation of storing correction parameters described above is substantially the same as that of the above-described embodiment, and therefore will be described. Is omitted.
After completing the illumination parameter calculation process, the CPU 10 then, in the same manner as the above-described process, determines each pixel value of each reference color chart data included in the reference data stored in the HD 19 and the value of k stored in the RAM 18. The average pixel value of each color chart data included in one color chart image data among the pieces of color chart image data is calculated.
Next, the CPU 10 performs the following conversion matrix calculation process using the learning data as each average pixel value for each color patch data and the teacher data as each pixel value for each reference color patch data.
[0037]
FIG. 9 shows the flow of the transformation matrix calculation process.
The CPU 10 selects one color chart corresponding to each of the learning data and the teacher data as a representative color chart, and determines a pixel value (hereinafter, referred to as a representative pixel value) relating to the representative color chart from the learning data and the teacher data. Select each. Then, a coefficient of a conversion matrix for converting the representative pixel value of the learning data into the representative pixel value of the teacher data is calculated (step S40). FIG. 10 shows examples of the learning data, the teacher data, and the transformation matrix. In the figure, H of the teacher data _t (T = 1 to n) represents a hue value, and S _t (T = 1 to n) represents a saturation value, and I _t (T = 1 to n) represent lightness values, which are represented as a matrix with 3 rows and 1 column. Similarly, the learning data H _l (1 = 1 to n) represents a hue value, and S _l (L = 1 to n) represents the value of saturation, and I _l (L = 1 to n) represent brightness values, which are represented as a matrix with 3 rows and 1 column. The transformation matrix is represented as a 3-by-3 matrix, and each a of the transformation matrix _pq (P = 1 to 3, q = 1 to 3) represent coefficients in the p-th row and the q-th column, respectively. The representative pixel value of the learning data is converted into a representative pixel value of the teacher data when matrix conversion is performed using this conversion matrix.
[0038]
Next, the CPU 10 performs a matrix conversion using the conversion matrix on the average pixel value of each color patch other than the representative color patch included in the learning data, and converts the converted average pixel value of each color patch (hereinafter, referred to as a conversion pixel value). ) Is calculated (step S41). Then, an error (here, a root-mean-square error) is obtained for the converted pixel value for each color patch and the pixel value for each reference color patch included in the teacher data for each corresponding color patch data. Further, the sum of these errors (hereinafter referred to as the sum of the root mean square errors) is calculated (step S42).
[0039]
Next, a pixel value relating to one color patch is selected from among the pixel values of each color patch data excluding the above-described representative pixel value, and the processes of steps S40 to S42 are performed using this as a new representative pixel value. A transformation matrix corresponding to the new representative pixel value and a root mean square error sum based on the transformation matrix are calculated. As described above, for all the color patches included in the color chart, the processes of steps S40 to S42 are performed using each color patch as a representative color patch, and the conversion matrix corresponding to each representative pixel value and the root mean square The total error is calculated. When the processes of steps S40 to S42 are completed for all the representative color patches, the determination result of step S43 becomes affirmative, and the process proceeds to step S44. In step S44, the CPU 10 detects the minimum value of the sum of the root mean square errors corresponding to the representative pixel values for each representative color chip. Next, a conversion matrix for the representative pixel value is detected (step S43). This conversion matrix is a color conversion parameter for the color chart image data captured under this lighting condition.
[0040]
The CPU 10 performs the conversion matrix processing of steps S40 to S44 as described above on the remaining (k-1) color chart image data, thereby supporting the k color chart image data under each lighting condition. Is obtained (here, a conversion matrix). The CPU 10 stores them in the correction parameter database 19a in association with the illumination parameters for each color chart image data in the same manner as in the above-described color conversion parameter calculation processing.
[0041]
Thereafter, at the time of color distortion correction of the target image data, a color conversion parameter corresponding to the target image data is read from the correction parameter database 19a, and the pixel value of each pixel included in the target image data is converted by linear conversion. You can do it.
[0042]
<2. Equip the mobile terminal with the function of the color distortion correction device 1>
The function of the color distortion correction device 1 described above may be provided in a portable terminal having a wireless communication function. Furthermore, if the portable terminal having a photographing function is provided, a color image can be photographed anytime and anywhere with this portable terminal.In addition, regardless of lighting conditions at the time of photographing, photographing is performed under predetermined lighting conditions. A color image equivalent to a color image can always be obtained. Further, since the obtained color image can be transmitted to another communication device by a wireless communication function, it can be applied to various things.
[0043]
【The invention's effect】
It is possible to effectively use a photographing region for photographing a photographing target including a white region, and to perform processing for correcting color distortion of an image obtained by photographing the photographing target in a short time.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a functional configuration of a color distortion correction device 1 according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a hardware configuration of the color distortion correction device 1 according to the embodiment.
FIG. 3 is a diagram illustrating a color chart according to the embodiment;
FIG. 4 is a diagram illustrating a neural network according to the embodiment;
FIG. 5 is a diagram exemplifying a color barcode to be photographed according to the embodiment;
FIG. 6 is a flowchart showing a flow of an illumination parameter calculation process according to the embodiment.
FIG. 7 is a flowchart showing a flow of a color conversion parameter calculation process according to the embodiment.
FIG. 8 is a flowchart showing a flow of an illumination parameter estimation process according to the embodiment.
FIG. 9 is a flowchart illustrating a flow of a transformation matrix calculation process according to another example of the embodiment.
FIG. 10 is a diagram illustrating an example of a calculation formula of a transformation matrix according to the example.
[Explanation of symbols]
Reference Signs List 1 correction device, 11 bus, 12 image input unit, 13 operation input unit, 14 display unit, 16 storage unit, 17 ROM, 18 ... RAM, 19 ... HD, 19a ... Correction parameter database.

Claims

Using each image data representing each image obtained by photographing a color chart having a plurality of different color charts under a plurality of different lighting conditions, lighting condition information indicating characteristics of each lighting condition, and under each lighting condition A correction parameter storing step of obtaining color conversion information for correcting color distortion of an image, storing the obtained illumination condition information and the color conversion information in a storage unit in advance, and
A target obtaining step of obtaining image data representing an image obtained by shooting a shooting target including a white region under arbitrary lighting conditions,
For the image data acquired in the target acquisition step, an estimation step of estimating the illumination condition,
By using the color conversion information stored in the storage unit in association with the illumination condition information indicating the feature of the illumination condition estimated in the estimation step, by changing the image data acquired in the target acquisition step And correcting the color distortion of the image represented by the image data.

The estimating step includes:
For each pixel included in the image data obtained in the target obtaining step, a hue, a saturation, and a brightness are calculated for each pixel, and a color system of the image data is calculated using the hue, the saturation, and the brightness. A color system conversion step for converting to a color system;
Using the hue, saturation, and brightness of each pixel calculated in the color system conversion step, an illumination parameter calculation step of obtaining illumination condition information indicating characteristics of illumination conditions at the time of shooting the shooting target,
An illumination condition detection step of detecting illumination condition information most similar to the illumination condition information obtained in the illumination parameter calculation step, out of the illumination condition information stored in the storage means,
2. The color distortion correction according to claim 1, wherein the illumination condition whose characteristics are indicated in the illumination condition information detected in the illumination condition detection step is estimated to be an illumination condition when the imaging target is photographed. Method.

The correcting step includes:
A color conversion parameter selection step of reading color conversion information stored in the storage unit in association with the illumination condition information detected in the illumination condition detection step;
Color conversion for correcting color distortion of an image represented by the image data by changing the image data obtained in the object obtaining step using the color conversion information read in the color conversion parameter selecting step. Steps and
A color system for converting the color system of the image data changed in the color conversion step to a color system before conversion to a color system using hue, saturation, and lightness in the color system conversion step. 3. The color distortion correction method according to claim 2, further comprising an inverse conversion step.

The correction parameter storing step includes:
A color chart image obtaining step of obtaining image data representing an image obtained by shooting the color chart for each different lighting condition,
The hue, saturation, and brightness corresponding to each color chart included in each image data acquired in the color chart image acquisition step were calculated, and the color system of the image data was calculated using hue, saturation, and brightness. A color system conversion step for converting to a color system;
Reference data acquisition step of acquiring hue, saturation, and lightness corresponding to each color chart having the color chart as a correction reference,
Using the hue, saturation, and lightness calculated in the color system conversion step, an illumination parameter calculation step of obtaining illumination condition information indicating a feature of an illumination condition during shooting of the color chart,
The hue, saturation, and lightness corresponding to each color chart calculated in the color system conversion step, and the correspondence between the hue, saturation, and lightness corresponding to each color chart obtained in the reference data acquisition step are analyzed. A color conversion parameter calculating step of obtaining color conversion information for each illumination condition to correct color distortion of an image obtained by photographing the color chart;
A database storage step of storing the illumination condition information obtained in the illumination parameter calculation step and the color conversion information obtained in the color conversion parameter calculation step in the storage unit in association with each other. 2. The color distortion correction method according to 1.

The lighting parameter calculation step,
In the image data representing the image obtained by photographing the photographing target, the data portion representing the white area included in the image is estimated, or the image data representing the image obtained by photographing the color chart is subjected to the image. A white color identification step of obtaining a data portion representing a included white area;
For each pixel included in the data portion estimated or obtained in the white identification step, a white pixel value calculation step of calculating hue, saturation, and brightness for each pixel,
The color distortion correction method according to claim 2, further comprising: a calculating step of obtaining the illumination condition information using the hue, saturation, and brightness calculated in the white pixel value calculating step.

Storage means for storing information;
Using each image data representing each image obtained by photographing a color chart having a plurality of different color charts under a plurality of different lighting conditions, lighting condition information indicating characteristics of each lighting condition, and under each lighting condition Correction parameter storage means for obtaining color conversion information for correcting color distortion of an image, associating the obtained illumination condition information and the color conversion information with the storage means in advance, and
Target acquisition means for acquiring image data representing an image obtained by photographing a photographing target including a white region under arbitrary lighting conditions,
Estimating means for estimating the lighting conditions of the image data acquired by the object acquiring means,
By using the color conversion information stored in the storage unit in association with the illumination condition information indicating the feature of the illumination condition estimated by the estimation unit, by changing the image data acquired by the target acquisition unit A color distortion correcting device for correcting color distortion of an image represented by the image data.

The estimating means includes:
For each pixel included in the image data obtained by the target obtaining unit, a hue, a saturation, and a brightness are calculated for each pixel, and a color system of the image data is calculated using the hue, the saturation, and the brightness. A color system conversion means for converting to a color system;
Using hue, saturation, and brightness of each pixel calculated by the color system conversion unit, an illumination parameter calculation unit that obtains illumination condition information indicating characteristics of illumination conditions at the time of shooting the shooting target,
Among the illumination condition information stored in the storage unit, the illumination condition information detection unit that detects the illumination condition information most similar to the illumination condition information obtained by the illumination parameter calculation unit,
7. The color distortion correction according to claim 6, wherein the illumination condition indicated by the illumination condition information detected by the illumination condition detection unit is estimated to be an illumination condition at the time of photographing of the photographing target. apparatus.

The correction means,
A color conversion parameter selection unit that reads out color conversion information stored in the storage unit in association with the illumination condition information detected by the illumination condition detection unit;
Color conversion for correcting color distortion of an image represented by the image data by changing the image data acquired by the object acquisition unit using the color conversion information read by the color conversion parameter selection unit. Means,
A color system for converting the color system of the image data changed by the color conversion unit to a color system before conversion to a color system using hue, saturation, and lightness by the color system conversion unit. The color distortion correction device according to claim 7, further comprising an inverse conversion unit.

The correction parameter storage means,
Color chart image acquisition means for acquiring image data representing an image obtained by photographing the color chart for each different lighting condition,
The hue, saturation, and brightness corresponding to each color chart included in the image data acquired by the color chart image acquisition means are calculated, and the color system of the image data is calculated using the hue, saturation, and brightness. A color system conversion means for converting to a color system;
Reference data acquisition means for acquiring hue, saturation, and lightness corresponding to each color chart having the color chart as a correction reference,
Using hue, saturation, and brightness calculated by the color system conversion unit, an illumination parameter calculation unit that obtains illumination condition information indicating characteristics of illumination conditions at the time of shooting the color chart,
The hue, saturation, and lightness corresponding to each color chart calculated by the color system conversion means, and the correspondence between the hue, saturation, and lightness corresponding to each color chart acquired by the reference data acquisition means are analyzed. The color conversion parameter calculation means for obtaining color conversion information for correcting color distortion of an image obtained by photographing the color chart for each illumination condition,
Database storage means for storing the illumination condition information obtained by the illumination parameter calculation means and the color conversion information obtained by the color conversion parameter calculation means in the storage means in association with each other;
The color distortion correction device according to claim 6, further comprising:

The lighting parameter calculation means,
In the image data representing the image obtained by photographing the photographing target, the data portion representing the white area included in the image is estimated, or the image data representing the image obtained by photographing the color chart is subjected to the image. White identification means for acquiring a data portion representing a white area included therein,
For each pixel included in the data portion estimated or obtained by the white identification unit, a white pixel value calculation unit that calculates hue, saturation, and lightness of each pixel,
Using hue, saturation, and brightness calculated by the white pixel value calculation unit, a calculation unit that obtains the illumination condition information,
The color distortion correction device according to claim 7, further comprising:

Storage means for storing information;
Using each image data representing each image obtained by photographing a color chart having a plurality of different color charts under a plurality of different lighting conditions, lighting condition information indicating characteristics of each lighting condition, and under each lighting condition Correction parameter storage means for obtaining color conversion information for correcting color distortion of an image, associating the obtained illumination condition information and the color conversion information with the storage means in advance, and
Target acquisition means for acquiring image data representing an image obtained by photographing a photographing target including a white region under arbitrary lighting conditions,
Estimating means for estimating the lighting conditions of the image data acquired by the object acquiring means,
By using the color conversion information stored in the storage unit in association with the illumination condition information indicating the feature of the illumination condition estimated by the estimation unit, by changing the image data acquired by the target acquisition unit And a correcting means for correcting color distortion of an image represented by the image data.

On the computer,
Using each image data representing each image obtained by photographing a color chart having a plurality of different color charts under a plurality of different lighting conditions, lighting condition information indicating characteristics of each lighting condition, and under each lighting condition A correction parameter storing step of obtaining color conversion information for correcting color distortion of an image, storing the obtained illumination condition information and the color conversion information in a storage unit in advance, and
A target obtaining step of obtaining image data representing an image obtained by shooting a shooting target including a white region under arbitrary lighting conditions,
For the image data acquired in the target acquisition step, an estimation step of estimating the illumination condition,
By using the color conversion information stored in the storage unit in association with the illumination condition information indicating the feature of the illumination condition estimated in the estimation step, by changing the image data acquired in the target acquisition step A correction step for correcting color distortion of an image represented by the image data.

A storage medium storing the program according to claim 12.