JP2005018401A - 照明変化対応画像処理装置 - Google Patents

Abstract

【課題】画像処理を用いた制御を行う場合、照明の変化によって入力画像が変化し、制御対象を誤動作させてしまうおそれがある。本発明は、このような課題に対して、簡便な方法で画像を補正し、誤りのない制御が実施できる照明変化対応画像処理装置を提供する。
【解決手段】カメラからの画像を入力とする画像処理装置であって、画像を入力する画像入力手段と、入力画像の補正に用いる画像補正用基準画像を入力する画像補正用画像入力手段と、画像補正用基準画像から照明の変化量を抽出する照明変化量抽出手段と、照明の変化量を基に前記入力画像の補正を行う画像補正手段と、補正された入力画像に基づいて画像処理を行う画像処理手段とを有することにある。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置に係り、特に入力画像の、照明変化による影響を特定のボード画像から検知するとともに、前記入力画像を補正して画像処理を行い、照明変化に影響されることのない照明変化対応画像処理装置に関する。
【０００２】
【従来の技術】
【特許文献１】特開平８−３２８２７号公報
従来の画像処理装置では、照明変化が起こるような環境で安定して動作させることが難しく、照明が大きく変化すると誤動作が発生し易かった。照明の変化による影響を吸収するための手段として、オートホワイトバランスがあるが、これは画面内の輝度が最も高い部分を白であるとして、画像を補正するものであるが、画面内に白いものが写りこんでいない場合には、白でないものを白としてしまうため、補正結果が正しくならないことがある。この方法はあくまでも相対補正にすぎない。
【０００３】
前記特許文献１には、見本画像のないディジタル画像の画質を改善するための、階調補正に関する記載がある。それは、色のバランスを崩すことなく、明度、彩度のコントラストを強調してディジタル画像の階調を自動的に補正できるディジタル画像の階調補正に関する。具体的には、画像データを明度、彩度、色相の各信号に変換し、明度ヒストグラムのハイライトしきい値とシャドウしきい値に基づいてダイナミックレンジを補正するなど、複雑な処理が必要である。それは、ハイビジョン等の画像データを印刷物の画像データに変換する際の、前処理に用いられるものである。しかしながら、実際にはより実用的な簡便な画像処理装置が求められている。
【０００４】
【発明が解決しようとする課題】
従来の画像処理装置では、動作させる環境の照明変化が画像処理ロジックに与える影響が大きく、照明が変化すると画像処理ロジックが思惑通りに動作しないことがある。そして結果として誤動作をしてしまう可能性があり、それを回避するためには前記のような複雑な画像処理ロジックの開発の必要があった。
【０００５】
また、照明の変化による影響を吸収するための手段として、オートホワイトバランス手法がある。これは画面内の輝度が最も高い部分を白であるとし画像を補正するものであるが、画像内に白いものが写りこんでいない場合には、白でないものを白としてしまうため、補正結果が正しくならないことがある。また、この方法は相対補正である。
【０００６】
本発明は、このような従来技術の問題点に鑑みてなされたものであり、従来の方法と比較して照明変化に影響されない画像処理装置を提供することにある。
【０００７】
【課題を解決するための手段】
前記課題は、以下の手段により解決することができる。
【０００８】
カメラからの画像を入力とする画像処理装置において、画像を入力する画像入力手段と、入力画像の補正に用いる画像補正用基準画像を入力する画像補正用画像入力手段と、画像補正用基準画像から照明の変化量を抽出する照明変化量抽出手段と、照明の変化量を基に前記入力画像の補正を行う画像補正手段と、補正された入力画像に基づいて画像処理を行う画像処理手段とを有することにある。
【０００９】
また、入力画像の補正に用いる画像補正用基準画像を入力する画像補正用画像入力手段は、予め定められた部分の画像を入力するものであって照明変化後の前記基準画像のＲ，Ｇ，Ｂ成分の平均値あるいは中央値を求め、前記平均値あるいは中央値を用いて前記入力画像を補正することにある。
【００１０】
また、入力画像の補正に用いる画像補正用基準画像は予め定められた白色ボードの画像を入力する画像補正用基準画像入力手段である。
【００１１】
また、カメラからの画像を入力とする画像処理装置において、入力画像および前記入力画像の補正に用いる画像補正用基準画像を入力する画像入力手段と、画像補正用基準画像を形成する白色ボードの画像表示を前記入力画像の予め定められた位置に設けるとともに前記基準画像の複数の画素からその平均値あるいは中央値を求め照明変化量を抽出する照明変化量抽出手段と、前記求められた照明の変化量に基づいて前記入力画像の補正を行う画像補正手段と、補正された入力画像に基づいて画像処理を行う画像処理手段とを有することにある。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態に係る照明変化対応画像処理装置を、図を用いて説明する。ここではロボットに搭載されたカメラによって画像を入力し、その画像を処理することによってロボットの自律制御をおこなう場合の例について説明する。図１は本発明に係る照明変化対応画像処理装置の機能構成ブロック図を示している。
【００１３】
画像入力手段１は、ロボットに備えられているカメラ（ＣＡ１）から、カメラ前方の画像を撮影し入力する手段である。また、画像補正用画像入力手段２は、画像補正に用いる画像をカメラ（ＣＡ２）から撮影し入力する手段である。画像補正手段３は、画像入力手段１が入力した入力画像に対して画像補正用画像入力手段２で入力した画像補正用基準画像を用いて画像補正を行う手段である。画像処理手段４は、画像補正手段３により補正済みの画像に対して画像処理を行う手段である。
【００１４】
図１の機能構成ブロック図の処理フローを図２に示す。まず、画像入力処理１００において、画像入力手段１の処理としてカメラＣＡ１からの画像を入力画像としている。それは例えば図３に示すように、３次元空間に物体Ａ、Ｂが置かれているときに、ロボットに搭載されているカメラＣＡ１により物体Ａ，Ｂを撮影する。そのときの画像は、図４に示すような物体画像として捕らえることができる。すなわち、物体Ａ，Ｂと床の部分１０、壁の部分１２を含めた画像情報が得られている。
【００１５】
一方、画像入力処理１００と同時に、画像補正用画像入力処理１１０において、画像補正用基準画像入力手段２の処理として画像補正用画像を撮影し画像補正用基準画像とする。そのロボットの一例を図５に示す。図５の（Ａ）は画像入力手段１の処理としてのカメラＣＡ１と、画像補正用基準画像を撮影するカメラＣＡ２を搭載しているロボットの例である。２０は白色ボードで画像補正用基準画像入力用カメラＣＡ２により撮影するボードである。すなわち、ボード２０を基準にして画像補正をおこなうものである。なお、図５の（Ｂ）は図５の（Ａ）のロボットの後部方向からみた図である。前記画像補正用基準画像入力処理１１０において、カメラＣＡ２により、前記白色ボード２０を撮影する。これは照明などの変化に対応できる基準画像を撮影するために設けている。この例では入力画像用カメラ（ＣＡ１）と補正用基準画像用のカメラ（ＣＡ２）の２台のカメラを用いる場合である。
【００１６】
また、図５の（Ａ）でいうと、カメラＣＡ１およびＣＡ２からの画像情報を得て、ロボットを自律制御することになる。例えば、マイコンから構成される制御装置ＣＴＲが内蔵されている（ロボットにはこのように制御装置が内蔵されているが他の図では省略している）。また、ロボット自体には送受信装置を備え、無線通信により外部の計算制御装置と情報を送受信してロボットの制御を行うシステムも考えられるが、ロボットの自律動作が比較的遅く、また簡単な動作を行う場合に用いられる。
【００１７】
図６は前記白色ボードの撮像結果の画像を簡単に示している。図６の（Ａ）は標準的な照明の場合の画像を示している。図６の（Ｂ）は照明の変化などがあったときの白色ボードの撮像結果を示している。図６の（Ｂ）の画面の点々は、図６の（Ａ）の画像に対して、照明変化があって、画像全体が変化したことを表している。
【００１８】
次に、図２における画像補正処理１２０について説明する。画像補正処理１２０において、画像補正手段３の処理として、画像入力処理１００で入力された入力画像に対し、画像補正用画像入力処理１１０で入力した画像補正用画像を基に入力画像の補正をおこなう。
【００１９】
画像補正処理１２０の処理内容をより詳細に説明する。画像補正処理１２０の動作フローを図７に示す。照明変化量抽出処理２００と入力画像補正処理２１０の二つの処理から構成される。その詳細な処理フローを図８に示す。図８の処理ステップ８０ａ〜８０ｅは照明変化量抽出処理２００に、処理ステップ８０ｆは入力画像補正処理２１０にそれぞれ対応する。以下、説明のため、画素値のＲＧＢ各色を０〜１の値で表すものとする。
【００２０】
まず、照明変化量抽出処理２００において、画像補正用画像から照明変化量を抽出する。具体的には、図８のステップ８０ａに示したように、まず画像補正用画像から複数画素をサンプリングし、平均値処理や中央値算出処理などを用いて代表的な補正用画素値を求める。例えば、図６（Ｃ）に示したように、白色ボード２０の画像についてサンプリングをおこなう。図６の（Ｃ）の例では、Ｓ１〜Ｓ８の、８点についてサンプリングをしている。その場合、部分的に影などができる場合もあるので、サンプリング数があまり少ないと誤差が大きくなるおそれがある。したがって、処理時間の関係から、サンプリング数をあまり多くしないで、しかも、ボード全体の情報が得られるようにサンプリングすることが望ましい。
【００２１】
いま、図６の（Ｃ）によりサンプリングされたＳ１〜Ｓ８の画素はそれぞれＲ，Ｇ，Ｂから構成されているものとする。そしてＳ１〜Ｓ８のＲ，Ｇ，Ｂの平均値あるいは中央値を求め、これを、補正用画素値Ａとする。次に、前記補正用画素値Ａを白（Ｒ，Ｇ，Ｂ）＝（１．０、１．０、１．０）から減じ補正用画素値Ｂとする。次に、補正用画素値ＢのＲ、Ｇ、Ｂ成分から最大値を求める。次に、補正用画素値ＢのＲ，Ｇ，Ｂ各成分を最大値から減じ照明変化量に伴う画素変化量とする。次に、入力画像補正処理２１０において、入力画像の各入力画素値から照明変化量を減じて画像補正を行う。
【００２２】
画像補正処理１２０の処理内容の例を説明する。例えば、照明変化量抽出処理２００では、図６（Ｃ）におけるサンプリング画素Ｓ１（Ｒ，Ｇ，Ｂ）〜Ｓ８（Ｒ，Ｇ，Ｂ）における画素の要素Ｒ，Ｇ，Ｂについての平均値あるいは中央値を求め、補正用画素値Ａとする。これは図８の処理ステップ８０ｂに対応する。いま、
「補正用画素値Ａ（Ｒ，Ｇ，Ｂ）」＝（１．０、０．９、０．８）
とすると、補正用画素値Ｂは白（Ｒ，Ｇ，Ｂ）＝（１．０、１．０、１．０）から補正用画素値Ａを減じて求めるので、

となる。これは、図８の処理ステップ８０ｃに対応する。ここで補正用画素値ＢのＲ，Ｇ，Ｂの「最大値」はＢ成分の０．２となる（図８の処理ステップ８０ｄ）。
【００２３】
次に、補正用画素値ＢのＲ，Ｇ，Ｂ成分を最大値から減じ、照明変化量にともなう画素補正量を求める（図８の処理ステップ８０ｅ）。

次に、入力画像補正処理２１０では、入力画像の補正処理をおこなう。入力画像のうちの、ある「入力画素値（Ｒ，Ｇ，Ｂ）」＝（０．９、０．５、０．６）とすると、補正後の入力画素値は「入力画素値」から「照明変化量に伴う補正値」を減じたものであるので、前記「入力画素値」の補正された入力画素は、

となる。これらの補正処理を入力される画像全てに対して実施すれば、入力画像に対する照明変化の影響を受けない入力画像を得ることができる。
【００２４】
そして、画像処理１３０において、画像処理手段４の処理として、画像補正処理１３０によって補正済の入力画像に対し、ロボットの自律行動に伴う制御に必要な画像処理を行う（図８の処理ステップ８０ｆ）。
【００２５】
このように、図１において、画像入力手段１が、画像入力用カメラからの入力を入力画像とするとき、同時に、画像補正用画像入力手段２も画像補正用画像入力用カメラからの入力を画像補正用基準画像とし、変化量抽出手段３は、画像補正用画像から照明変化量を抽出する。ここで、画像補正用画像の撮影対象は白色ボードであるため、画像補正用画像の色情報を基にホワイトバランス調整パラメータを決定し照明変化量とする。例えば、照明が比較的赤い色が濃い場合、画像補正用画像は赤みを帯びた画像として撮影される。この赤みの情報をホワイトバランス調整パラメータとする。さらに詳細に説明すると、画像補正用画像の画素色が（Ｒ，Ｇ，Ｂ）＝（１．０、０．８、０．８）とするとき、まずこの画素色を白（Ｒ，Ｇ，Ｂ）＝（１．０，１．０，１．０）から減ずると（Ｒ，Ｇ，Ｂ）＝（１．０、１．０，１．０）−（１．０，０．８，０．８）＝（０．０，０．２，０．２）となる。次にＲ，Ｇ，Ｂ成分の最大値を求める。この場合、Ｇ＝Ｂ＝０．２が最大値となる。次に、Ｒ，Ｇ，Ｂ各要素の成分を最大値から減じる。（Ｒ，Ｇ，Ｂ）＝（０．２−０．０、０．２−０．２、０．２−０．２）＝（０．２，０．０，０．０）をホワイトバランス調整パラメータとする。図６の（Ａ）の標準的な照明下における画像補正用画像例、同図（Ｂ）の照明変化後の画像補正用画像例のように、ホワイトバランス調整パラメータによる補正に適用してもよい。すなわち、この場合はＲ成分だけ補正されたことと等価である。
【００２６】
図１の画像補正手段４は、画像入力手段１から入力された入力画像を、照明変化量抽出手段４で求めた照明変化量を用いてホワイトバランス調整を行い、画像から照明変化による画像の変動を取り除く。具体的には、画像中の各画素値から上記で求めたホワイトバランス調整パラメータを減じて補正を行う。例えば、ある入力画素値が（Ｒ，Ｇ，Ｂ）＝（０．７，０．３，０．２）とすると、補正後の画素値は、（Ｒ，Ｇ，Ｂ）＝（０．７，０．３，０．２）−（０．２，０．０，０．０）＝（０．５，０．３，０．２）となる。前記の例では、図４のような標準的な照明下での入力画像が、図９のように照明変化後の入力画像となり、画像補正後の入力画像は再び図４のような画像となる。そして、画像処理手段４では、画像補正手段３により補正され、照明に影響されない安定した画像に基づいて、ロボットの制御に必要な画像処理を行うことになる。すなわち本発明は、照明変化に対して白色ボードを用いた絶対補正ということができる。この点が従来のホワイトバランス方式と相違する。
【００２７】
また、図１０〜図１２は本発明の他の実施例を示している。その構成は図１０に示したように、画像入力手段１と画像補正用画像入力手段２を１台のカメラＣＡ０で行うロボットの例を示している。この例では、画像補正用画像入力手段２で撮影する白色ボード２０ａを、カメラ画像内の固定位置ＷＰに写りこむように配置されている。標準的な照明下での入力画像例を図１１に示す。照明変化が起きた場合、入力画像は図１２のようになる。照明変化量抽出手段３では、図１２に示した入力画像の白色プレート領域ＷＰの色を基準に、複数の画素値からホワイトバランス調整パラメータを決定し照明変化量に伴う画素補正値を求める。図１の画像補正手段３と画像処理手段４では、上記例と同様の処理を行う。この実施例では、カメラが１台で済む特徴がある。ただ基準となる画像の面積が小さいので、影などの影響が大きい。ただし、ロボットが使用される環境や照明の変化条件によっては、有効な方法である。
【００２８】
この実施例によると、白色ボードを使用して照明変化があったときの入力画像に対して補正値を求めているので、照明光に左右されることがない画像補正を実施することができる。また、実施例で示した画像処理によるロボット制御の場合、環境の変化にかかわらず適応可能となる、などの効果が期待できる。また、予め、調整しておけば、現地での補正作業は簡略化され、より実用的な補正であるということができる。
【００２９】
【発明の効果】
以上説明したように本発明によれば、画像処理装置において、通常の画像入力と同時に画像補正用画像を入力することにより画像を補正しているので、環境変化への対応が容易になる。
【図面の簡単な説明】
【図１】本発明の一実施例に係る照明変化対応画像処理装置の機能構成ブロック図である。
【図２】本発明の一実施例に係る照明変化対応画像処理装置のフローチャート図である。
【図３】本発明の実施例の対象となる物体配置の例を示す図である。
【図４】基準照明におけるカメラＣＡ１で捕らえた画像を示す図である。
【図５】本発明の一実施例における照明変化対応画像処理装置を用いた自律行動ロボットの前方および後方より見た略図である。
【図６】ボードの撮影画像の変化を示す図である。
【図７】本発明の一実施例に係る画像補正処理のフローチャート図である。
【図８】前記図７の詳細処理フロー説明するための図である。
【図９】図４の画像に対して照明変化があった場合の画像を示している。
【図１０】本発明の一実施例に係る画像入力手段１と補正用画像入力手段２を１台のカメラで実現する照明変化対応画像処理装置を用いた自律行動ロボットの前方よりの図である。
【図１１】本発明の他の実施例における標準的な照明下における入力画像例の図である。
【図１２】図１１における、照明変化後の入力画像例の図である。
【符号の説明】
１…画像入力手段 ２…画像補正用画像入力手段 ３…画像補正手段 ４…画像処理手段。

Claims (4)

1. カメラからの画像を入力とする画像処理装置において、画像を入力する画像入力手段と、入力画像の補正に用いる画像補正用基準画像を入力する画像補正用画像入力手段と、画像補正用基準画像から照明の変化量を抽出する照明変化量抽出手段と、照明の変化量を基に前記入力画像の補正を行う画像補正手段と、補正された入力画像に基づいて画像処理を行う画像処理手段とを有することを特徴とする照明変化対応画像処理装置。
2. 請求項１において、入力画像の補正に用いる画像補正用基準画像を入力する画像補正用画像入力手段は、予め定められた部分の画像を入力するものであって照明変化後の前記基準画像のＲ，Ｇ，Ｂ成分の平均値あるいは中央値を求め、前記平均値あるいは中央値を用いて前記入力画像を補正することを特徴とする照明変化対応画像処理装置。
3. 請求項１において、入力画像の補正に用いる画像補正用基準画像は予め定められた白色ボードの画像を入力する画像補正用基準画像入力手段であることを特徴とする照明変化対応画像処理装置。
4. カメラからの画像を入力とする画像処理装置において、入力画像および前記入力画像の補正に用いる画像補正用基準画像を入力する画像入力手段と、画像補正用基準画像を形成する白色ボードの画像表示を前記入力画像の予め定められた位置に設けるとともに前記基準画像の複数の画素からその平均値あるいは中央値を求め照明変化量を抽出する照明変化量抽出手段と、前記求められた照明の変化量に基づいて前記入力画像の補正を行う画像補正手段と、補正された入力画像に基づいて画像処理を行う画像処理手段とを有することを特徴とする照明変化対応画像処理装置。

Images