JP2020003878A - マーカおよび画像処理装置 - Google Patents

Abstract

【課題】色調補正用の色見本を含むマーカを比較的小さい面積で実現することを目的とする。【解決手段】本発明は，マーカーとしての情報を有する部分に，色見本の情報を重畳したマーカである。図６（ａ）に示すマーカは，図６（ｂ），図６（ｃ）及び図６（ｄ）の３つのパターンを合成したものである。図６（ｂ）は，G（グリーン）成分，図６（ｃ）はR（レッド）成分，図６（ｄ）はB（ブルー）成分で構成されている。そして，図６（ｂ）がＧ（グリーン）のパターンで，マーカの識別，位置や方向の検出に用いる情報を有しており，ＡＲマーカとしての機能を有している。同時に，図６（ａ）として合成された場合に，色見本の一部としての機能を有している。また，図（ｃ）及び図（ｄ）は，それぞれ図６（ａ）として合成された場合に，色見本の一部としての機能を有している。【選択図】 図６

Description

本発明は，マーカおよび画像処理装置に関する。

カメラ（撮像装置）画像を用いて様々な物体の色を計測する色計測技術が知られている。
撮像装置を用いて色計測を行う場合に考慮すべき点は，撮影環境によって計測される色が変化することである。光源環境が変われば撮像装置で撮影される画像の色も変化する。正確な色を計測するためには，撮影環境によらない色調補正を行う必要がある。

例えば，AR(拡張現実：Augmented Reality)用のマーカの周囲に複数の色見本を配置し，それらを用いて色調補正する方法が知られている（例えば非特許文献１）。従来技術に係る文献では，カメラ画像からARマーカを検出し，その周囲に配置された複数の色見本の位置を特定し，特定の光源環境下での色見本の撮影色を計測する。

これらの色見本の色調をもとに，撮影された物体の色調を補正することで前記特定の光源に依存しない色計測を実現する。
また，特許文献1には，マーカと色見本を用いた色調補正を肌の色の計測などに利用された例が記載されている。

さらに上記のような従来技術を用いれば，ARマーカと撮影したい物体との位置関係が分かっている場合には，物体の色を計測すべき撮影領域をARマーカを用いて特定できる。以下，このようにマーカと色見本を合わせた全体を「色補正マーカ」「色補正ARマーカ」などと呼ぶことにする。

特表2010-533537号公報

島田、小林、斎藤：農作物画像のためのAR技術を用いた自動色補正ビューアの開発、人工知能学会全国大会論文集、2B1-OS13-3、2011

しかしながら，上記の従来技術（例えば，上記の非特許文献1）では，マーカの周囲に色見本を配置するため，色見本の領域を含めた色補正マーカ全体の大きさが大きくなってしまうという問題があった。

色見本の位置を特定するためにはマーカの検出が必要であり，そのためには，マーカはある程度の大きさが必要である。非特許文献１では、色補正ARマーカ全体の大きさが、ARマーカに対して面積比で約4倍の大きさのマーカとなる。色補正マーカのサイズが大きいと物体撮影の際にマーカが邪魔になり，影響を及ぼすなどの問題がある。

本発明のマーカ及び画像処理装置は，上記に鑑みてなされたものであって，色調補正用の色見本を含むマーカを小さい面積で実現することを目的とする。

上記課題を解決するために、代表的な本発明に係るマーカの一つは，マーカ情報部に，色見本を重畳したマーカである。

また，代表的な本発明に係る画像処理装置の一つは，色見本が重畳されたマーカの画像からマーカ画像を分離し，二値化したマーカ情報部を特定し，マーカ情報部の情報に基づいて色見本の領域を抽出する。そして，撮像装置で撮影された色見本の色を計測する。さらに，マーカの位置・姿勢を用いて物体色の計測領域を特定し，物体の撮影色を計測する。計測された色見本色を用いて物体の撮影色の色調補正を行い，正しい物体色を得るものである。

本発明によれば，色調補正用の色見本を含むマーカを比較的小さい面積で実現することが可能である。
上記した以外の課題，構成及び効果は，以下の実施形態の説明により明らかにされる。

従来技術におけるカラータイプの色補正ARマーカを示す説明図である。 従来技術におけるグレイタイプの色補正ARマーカを示す説明図である。 従来の色見本を有していないＡＲマーカを示す説明図である。 本発明のグレイタイプの色補正ARマーカを示す説明図である。 本発明のグレイタイプの色補正ARマーカを示す説明図である。 本発明のカラータイプの色補正ARマーカを示す説明図である。 本発明における画像処理装置の全体概要を示す説明図である。 画像処理装置のハードウェア図である。 色計測の様子を示す説明図である。 グレイタイプの色補正ARマーカからARマーカ画像を分離する処理のフローチャートである。 カラータイプの色補正ARマーカからARマーカ画像を分離する処理のフローチャートである。 物体撮影色計測処理のフローチャートである。 色見本撮影色計測処理のフローチャートである。 色見本の計測領域の遷移の一例を示す図である。 色調補正処理のフローチャートである。 実施例５の色校正機能付き画像処理装置の全体概要を示す説明図である。 色見本校正処理の概要を示す説明図である。 未校正マーカの校正処理のフローチャートである。

以下、実施例を図面を用いて説明する。
なお，本開示において，
「マーカ」とは，画像処理において，マーカの識別，位置や方向の検出に用いられる標識を意味する。本開示におけるマーカは，AR(拡張現実：Augmented Reality)に用いるマーカを含むが，必ずしもARマーカに限定されるものではない。

「マーカ情報部」とは，マーカにおいて，マーカの識別，位置や方向の検出に用いるマーカ情報を有する部分をいう。マーカ情報部は，二値画像からなる画像パターンによって構成され，代表的には白領域及び黒領域から構成されるが，必ずしも，白色又は黒色には限定されない。また，二値画像は，主に，幾何学模様や文字，絵などに構成される。

「二値化」とは，カラー画像、グレー画像を二値画像(binary image)に変換する処理をいう。

「色見本」とは，撮影した画像の色調を判断したり，補正する際の基準となる色彩を含んだ領域をいう。

本発明における色見本を重畳したマーカについて，図１〜図６を用いて説明する。
まず，本発明の色見本を重畳したマーカについて説明する前に，従来技術を用いた場合の色補正ARマーカについて，図１および図２を用いて説明する。

図１は非特許文献1に記載されている色補正ARマーカである。
図１において，101は通常のARマーカである。このARマーカは公知のARマーカ検出処理によってARマーカのカメラ座標系における位置姿勢，およびマーカのIDを求めることが可能である。

従来法における色補正ARマーカでは，ARマーカ101の周囲に複数の色見本を配置する。図１の例では201〜212の12個の色見本を配置している。ARマーカ検出処理によって，ARマーカ101の位置姿勢が求められ，その位置姿勢から周囲の色見本の位置が特定される。
色見本201〜212の色は校正済であり，その真の色が既知である。色見本が撮像装置によって撮影された撮影色と色見本の真の色調の値を用いることで，撮像装置で撮影した撮影色の色調を補正する（以下，「色補正を行う」ということがある。）。

図１に示すように従来法における色補正ARマーカは，ARマーカ101の周囲に色見本を配置するために，マーカ全体として比較的大きな面積が必要となる。

図２は，従来法における色補正ARマーカの別の例である。図２の例ではARマーカ101の周囲に，色見本として，校正済のグレイの領域220を配置している。ARマーカ検出処理によって，ARマーカ101の位置姿勢が求められ，その位置姿勢から周囲の色見本220の位置が特定される。

色見本220の色は校正済であり，その真の色（グレイ）があらかじめわかっている。撮像装置によって撮影された撮影色と色見本の色の真値を用いることで，カメラ画像の色調補正を行う。
図２に示すように従来法における色補正ARマーカは，ARマーカ101の周囲に色見本を配置するために，図１の場合と同様に，マーカ全体として比較的大きな面積が必要となる。

次に本発明で用いる色補正ARマーカの詳細について，図３〜図６を用いて説明する。
図３は，従来の色見本を有していないARマーカの説明図である。ARマーカは図３に示すように，通常は正方形であり，マーカ情報部を構成する白の領域601と黒の領域602から構成されている。図３のARマーカがカメラ等で撮影されると，撮影された画像が二値化され，正方形の領域や内部のパターンが抽出され，ARマーカのIDの抽出などの処理が行われる。

本発明の実施例１の色見本を重畳したマーカは，図３に示したARマーカのマーカ情報部の上に色見本を重畳するものである。
具体的には，図４に示すように，ARマーカの白色の領域701の色を変更し，例えばグレイに着色が施されて色見本が重畳されている。そして，この色見本の色の真値は測定などで既知のものとする。

このように，実施例１の色見本を重畳したマーカを用いることにより，マーカ全体の大きさを，従来の色見本を有していないARマーカと同程度に保ちながら，マーカに色見本の機能を含ませることができる。
なお，ARマーカの白色の領域701の色を変更せずに，ARマーカの黒色の領域702の色を変更し，例えばグレイに着色されて色見本が重畳されていてもよい。

また，図４の色見本ARマーカは図３の通常のARマーカと比較すると，画像の二値化の閾値の設定が重要となる。このような問題を解決するために，本発明では後述するARマーカ画像分離処理を行う。ARマーカ画像分離処理によって，白黒画像でない中間色を含むARマーカについても正確に検出することが可能である。

図５に示す実施例２は，図４をさらに改良した色補正ARマーカであり，2つの色見本を重畳する例である。図５の色補正ARマーカでは，図４のようにARマーカのマーカ情報部である白色の領域801の色を変更し，例えば淡いグレイに着色されて色見本とされており、さらに黒色の領域802の色も変更し，例えば濃いグレイに着色されて色見本としている。801および802の色見本の色の真値は測定などで得られているものとする。

このように，実施例２の色見本を重畳したマーカを用いることにより，マーカ全体の大きさを，従来の色見本を有していないARマーカと同程度に保ちながら，マーカに２色の色見本の機能を含ませることができ，実施例１に比較してより詳細な色調補正が可能となる。

なお，図５の色見本ARマーカは図３の通常のARマーカと比較すると，画像の二値化の閾値の設定がさらに重要となる。このような問題を解決するために，本発明では後述するARマーカ画像分離処理を行う。ARマーカ画像分離処理によって，白黒画像でないARマーカについてもマーカ情報を正確に抽出することが可能である。

実施例１（図３），実施例２（図４）は主にグレイの色見本を用いた色調補正マーカであった。これに対して，実施例３として図６に示す色補正ARマーカはグレイ以外の複数の色見本を用いたマーカである。（本明細書に付属する図面においては、便宜的に、複数の色を複数のストライプ模様で示している。）

図６の例では901が色補正ARマーカである。図６（ａ）の例ではこのマーカは6×6の合計36個の小正方形から構成されている。この36個の小正方形に色見本を配置する。なお，色見本の配置方法には様々な方法が考えられ，図６に記載するものはその一例に過ぎない。

図６（ａ）に示すマーカは，図６（ｂ），図６（ｃ）及び図６（ｄ）の３つのパターンを合成したものであり，図６（ｂ）は，G（グリーン）成分，図６（ｃ）はR（レッド）成分，図６（ｄ）はB（ブルー）成分で構成されている。

図６の例では，図６（ｂ）がＧ（グリーン）のパターンで，マーカの識別，位置や方向の検出に用いるマーカ情報を有しており，ＡＲマーカとしての機能を有している。同時に，図６（ａ）として合成された場合に，色見本の一部としての機能を有している。また，図（ｃ）及び図（ｄ）は，それぞれ図６（ａ）として合成された場合に，色見本の一部としての機能を有している。

つまり，実施例３のマーカは，マーカ情報部を形成する二値画像と，色見本を構成する２色以上の色彩パターンを合成して，マーカのマーカ情報部に，多数の色見本を重畳したマーカとなっている。

したがって，図６に示すような多色で構成されたマーカは，通常のARマーカ検出処理ではマーカ情報部のパターンを検出できない。このため，ARマーカ901から，ARマーカ画像分離処理によって，通常のARマーカ検出処理で検出可能な画像に変換する必要がある。

図６の例では，マーカ画像で検出可能な画像への変換としてカラーフィルタを用いることができる。カラーフィルタを用いれば，多色で構成された画像901からRGBに分離した画像902，903，904を得ることが可能である。したがって，図６（ｂ）に示すように，カラーマーカ901のG成分902を用いることで通常のARマーカ検出処理によって，マーカ情報の抽出が可能である。

また，色見本としては，最終的に、真の色調の値が既知である36個の領域の色情報を用いることが可能である

このため，実施例３の色見本を重畳したマーカを用いることにより，マーカ全体の大きさを，従来の色見本を有していないARマーカと同程度に保ちながら，マーカに３６色の色見本の機能を含ませることができ，実施例１，２に比較してより詳細な色調補正が可能となる。

なお，図６で用いたカラーマーカは，グリーン画像によって902に示すようなマーカのパターンを形成した。一方，レッド画像903は横ストライプ状 の画像，ブルー画像904は縦ストライプ状の画像を用いて，それらを合成することで，カラーマーカ画像901を生成している。

しかし，図６（ａ）に示されるようなマーカは，何らかの方法でマーカのパターンが抽出されれば，どのような組み合わせで形成されてもよい。例えば，マーカのパターン（ｂ）に他の色成分からなる３つ以上のパターンを組み合わせることによって，色見本を重畳したマーカを作成してもよい。また，パターンとしても，単純なストライプ画像に限定されるものではなく，どのような形状のものでもよい。

また，図６（ｂ），図（ｃ）及び図（ｄ）に示すパターンは，黒-Ｇ(グリーン)，黒-Ｒ(レッド)，黒-Ｂ(ブルー)の二値画像である必要はなく，それぞれ，Ｇ(グリーン)の濃色-薄色，Ｒ(レッド)の濃色-薄色，Ｂ(ブルー)の濃色-薄色のような中間調の輝度を用いて構成することも可能である。色補正において，フルホワイトやフルブラックのような画像を用いると撮影した輝度値が飽和しやすく，色調補正の精度が減少する虞があるため，中間色を採用することがより好ましい。

次に，図７を用いて，実施例４の画像処理装置について説明する。
図７は、本実施形態で説明する画像処理及び撮影対象を示す説明図である。図７に示す構成は、本発明の理解および実施に必要な程度で本実施形態の概要を示しており、本発明の範囲は図示の構成に限定されない。図７から一部の構成を除いた構成も本発明の範囲に含まれる。

画像処理装置１は撮影対象20を撮像し，特定の領域の色を計測し，色調補正を行い物体の色を特定するものである。図７ではビーカー21内の液の液色を計測する例である。
図７の撮影対象20において，領域23は液色を計測する領域である。また，22は本発明の実施例１から３で説明したマーカである。

画像処理装置１は撮像装置10を用いて撮影対象20を撮影する。撮影対象20にはマーカ22が撮像されるように配置する。前述したように，本実施例の色調補正機能つきのマーカは，マーカ情報部に色見本を配置したものである。このため，色補正マーカが撮影された画像に対して，そのまま通常のマーカ検出処理を行っても，マーカの検出は難しい。

このため，マーカ画像分離部11によって，色補正マーカが撮影されている画像から，重畳されている色見本の情報を除去する。
色見本情報を除去した画像に対して，マーカ検出部12は，色補正ARマーカのマーカ情報部を検出する。マーカ情報の検出によって，マーカのカメラ座標系における位置姿勢などの情報が特定される。

特定されたマーカの位置姿勢から，物体色計測部13は物体の色を計測する領域を特定し，物体の撮影色を計測する。これは，図７では領域23に対応する。領域23はマーカ22のカメラ座標系における位置姿勢を用いて求められる。この求め方は後述する。

色見本計測部14はARマーカのカメラ座標における位置姿勢を用いて，色補正ARマーカに重畳された色見本の領域を特定し，特定された領域の色を計測することで，各色見本が現在の環境下で撮像装置10によって撮影された色を計測する。

色調補正部は色見本計測部14によって撮像された色見本の色の真値と，撮像された色とを用いて撮影色の色調補正を行い，物体色16を得る。
得られた物体色16は，色補正ARマーカを用いることで，照明の変動による影響を補正しているため，照明などの影響を排除できた真の色彩となっている。

また，物体色を計測する領域23は色補正ARマーカの座標系で記述することによって，撮影対象の置かれた位置などが変動しても，撮影対象の中の計測したい場所を常に特定することができる。以上により，照明および物体の位置によらずに，安定的に正確な物体色の計測が実現できる。

次に画像処理装置１のハードウェア構成について説明する。
図８のハードウェア構成図に示すように、画像処理装置１は、単一のコンピュータシステムとして構成することができる。画像処理装置１は、例えば、マイクロプロセッサ（以下、ＣＰＵ：Central Processing Unit）31、入力部32、表示部33、撮像装置10、メモリ35、通信部36、補助記憶装置37を備える。

ＣＰＵ31は、画像処理装置１の動作を制御する。ＣＰＵ31は、補助記憶装置37に記憶された所定のコンピュータプログラムP11〜P15をメモリ35に読み込んで実行することで、画像処理装置１の各機能を実現する。なお、コンピュータプログラムの一部または全部は、メモリ35に格納されていてもよい。

入力部32は、ユーザが画像処理装置１へ指示や情報を入力するための装置である。入力部32は、例えば、手動スイッチ、操作ボタン、操作コントローラ、タッチパネル、動作検出スイッチ、音声認識装置などのように構成される。表示部33は、画像処理装置１からユーザへ情報を提供する装置であり、ディスプレイ装置として構成される。

撮像装置10は、例えばＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complementary MOS）カメラのようなカラーデジタルカメラとして構成されており、撮影した画像をデジタルデータとして出力する。

メモリ35は、例えば、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）を含む記憶装置である。
通信部36は、外部装置と無線通信あるいは有線通信するための装置である。
補助記憶装置37は、例えばハードディスク、フラッシュメモリデバイスのような比較的大容量の不揮発性記憶装置である。補助記憶装置37は、着脱可能な記録媒体を備えてもよい。補助記憶装置37には、撮像装置10で撮影した画像や色計測領域などの重畳表示された画面などを作業記録として保存することができる。

次に，図９を用いて，色計測の手順について説明する。図９は，ビーカー21内の溶液の液色を計測する例である。ビーカー21には色補正ARマーカ22をあらかじめ貼りつけておく。画像処理装置1は撮像装置10によって撮影対象20を撮影する。このとき，撮像装置10の撮影画像には，撮影対象のビーカー21および色補正ARマーカ22が撮影されている必要がある。

液色を計測する領域は23である。この領域はあらかじめ，色補正ARマーカの座標系で記述しておく。このため，撮像装置に撮影された色補正ARマーカ22の位置姿勢から自動的に求められる。
カメラ画像における領域23内の撮影画像の色の平均を求め，カメラ画像における物体の撮影色とする。

色補正ARマーカ22には，種々の色見本が重畳されている。この色見本の色は校正済であり，その真の色があらかじめわかっている。色見本が撮像装置によって撮影された色を撮影色と呼ぶことにする。この色見本の撮影色と，色見本の色の真値を用いることで，カメラ画像の色補正を行う。
物体の撮影色を色補正することで，真の物体色を求めることが可能である。

次にARマーカ画像分離部11の処理内容について説明する。前述のように色補正ARマーカには様々な方法が考えられるが，ここでは，図４，図５に示したようなグレイタイプの色補正ARマーカに対するARマーカ画像分離方法および，図9に示したようなカラータイプの色補正ARマーカに対するARマーカ画像分離方法を説明する。

図10は，図４，図５に示したようなグレイタイプの色補正ARマーカに対するARマーカ画像分離部11の処理のフローチャートである。図４および図５に示す中間色を用いたARマーカでは閾値の選択が重要である。
すなわち，適切な閾値を選択すればARマーカの二値化が可能であるが，適切な閾値があらかじめわからないという問題がある。

図10に示すARマーカ画像分離処理は，動的に閾値を選択する方法である。
まず，閾値θを乱数を用いて設定する（S10）。ここで，例えば，画像の輝度値が0から255の場合には，閾値θは0から255の値をとるものとする。

次に閾値θを用いて入力画像を二値化する（S11）。得られた二値化画像を用いて公知のARマーカ検出処理を実行する（S12）。このARマーカ検出処理は，例えば非特許文献2に記載されている方法を用いることが可能である。

検出に成功した場合には（S13），色補正ARマーカの検出も成功とし，その検出結果を色補正ARマーカの検出結果とする。
検出に失敗した場合には（S13）,閾値θが適切でない場合が考えられる。この場合には，一定回失敗したかどうかを判定し（S14），一定回数失敗していない場合には，S10に戻り，閾値θを新たに乱数を用いて設定し，S11,S12を繰り返す。

繰り返しによって成功した場合には（S13）,色補正ARマーカの検出も成功とし，その検出結果を色補正ARマーカの検出結果とする。
検出に一定回数失敗した場合には（S14）,色補正ARマーカの検出に失敗したとする。

図１１は，図６に示したようなカラータイプの色補正ARマーカからARマーカ画像を分離する処理のフローチャートである。
図６に示すカラータイプの色補正ARマーカでは，カラー画像をRGB成分に分解することで，ARマーカ検出処理の適用が可能である。

まず，撮像装置からの入力画像に対してカラーフィルタを適用する（S20）。図６の例では，入力画像をRGB成分に分離して，グリーン成分の画像を抽出する。
次に抽出されたグリーン画像に対して，通常のARマーカ検出処理を実行する。
以上によってカラータイプの色補正ARマーカに対するARマーカ検出が可能である 。

図１２は図６の物体色計測部13の処理のフローチャートである。
まずARマーカ情報からカメラ座標系におけるARマーカの位置姿勢を求める（S30）。このようなARマーカの座標変換の取得処理はARマーカ検出で通常行われている周知技術である。ここで，ARマーカの座標系をカメラ座標系に変換する4×4の変換マトリクスをTmとする。

次に，ARマーカと物体色計測領域の相対関係とARマーカの位置姿勢からカメラ画像における物体色計測領域を求める（S31）。あらかじめ，図８に示すように，色補正ARマーカ22の座標系で物体色計測領域23を定義しておく。この計測領域は四辺形のような二次元的なモデルで表現してもよいし，直方体や球など3次元的なモデルで表現してもよい。二元的なモデルで表現した場合には，そのモデルを前述の変換マトリクスTmで座標変換することで，カメラ画像上での物体色計測領域が求められる（S31）。

直方体や球など3次元的なモデルで物体色計測領域を表現した場合には，そのモデルを前述の変換マトリクスTmで座標変換し，変換モデルが存在する2次元画像上のすべての点を物体撮影色計測領域とする（S31）。
物体撮影色計測領域が求めた後に，カメラ画像の物体色計測領域の平均色を求める（S32）。求められた平均色が物体撮影色である。

図１３は図７の色見本計測部１４における処理のフローチャートである。
この色見本計測処理も基本的には物体撮影色計測処理と類似した方法である。
まず，ARマーカ情報からカメラ座標系におけるARマーカの位置姿勢Tmを求める（S４０）。

色補正ARマーカでは，色見本は複数存在する。例えば，図４の色補正ARマーカでは色見本の数は1，図５の色補正ARマーカでは色見本の数は2,図６（ａ）の色補正ARマーカでは色見本の数は36である。このため，すべての色見本について，撮影色を求める必要がある。

複数の色見本の撮影色を求めるために，まず，変数iに最初の色見本のidをセットする（S41）。
次に，ARマーカと色見本iの相対的位置関係から色見本iの色計測領域を求める（S42）。この処理は，物体撮影色計測処理とほぼ同等である。ただし，色見本計測処理では，色見本はARマーカと同じ平面上に存在する。そのため，その領域はARマーカが貼付される平面上の図形として表現される。

色見本撮影色計測領域が求めた後に，カメラ画像の色見本撮影色計測領域の平均色を求める（S43）。求められた平均色が色見本撮影色である。

次に，次の色見本idを変数iにセットする（S44）。もし，次の色見本が存在する場合には（S45）,S42に戻り，色見本iの計測領域を求める（S42）。さらに，S43,S44の処理を繰り返す。
つまり，ｉの数値を順次変えることによって，例えば，図６（ａ）の色補正ARマーカの場合には，図１４に示されるように，３６の色見本をすべて読み取ることができる。

図１５は，図７の色調補正部１５の処理のフローチャートである。
まず，色見本の設定色と撮影色から色調変換式を求める（S50）。次に物体撮影色に対して色調変換を適用する（S51）。以上で，物体撮影色の色調補正が実現される。

次に色調変換の詳細の例を説明する。色見本の撮影色を用いた色調補正方法には様々な方法が考えられるが，ここではアフィン変換を用いた方法を説明する。
色見本の数をnとし，色見本iの真の色をRGB空間で表現して，（Ri, Gi, Bi）とする。さらに，色見本iの撮影色をRGB空間で表現して（R’i, G’i, B’i）とする。ここで，すべての撮影色（R’i, G’i, B’i）を色見本の真の色（Ri, Gi, Bi）に変換する式として，式（1）に示すアフィン変換Mの変換式を考える。

色見本の真の色と撮影色のセットから，誤差を最小とする変換行列Mを求めることが可能である。
式（1）の変換行列Mの自由度は12である。1つの色見本でRGBごとに3つの条件式が得られる。このため，4つ以上の色見本によって変換行列Mが求められる。図9に示したカラーの色補正ARマーカでは，色見本の数は8であり，上記の変換行列Mを求めることが可能である。

図４に示すグレイタイプの色補正ARマーカでは色見本の数は1である。この場合には，式（1）から変換行列Mを求めるには条件が足りない。この場合には，式（2）に示すようなRGBのスケールだけを変換するようなアフィン変換M1を用いる。

図５に示すグレイタイプの色補正ARマーカでは色見本の数は2である。この場合には，式（3）に示すような6自由度の変換M２を用いる。

以上のように，撮影色から真の色を求めるための変換行列Mが求められる（S50）。

次に物体撮影色に対して色調変換を適用する（S51）。この処理は，Mが求まっていれば，これを物体撮影色に適用すればよい。物体撮影色を（R’x, G’x, B’x）とすれば，その真の色（Rx, Gx, Bx）は，以下の式（4）で求められる。

上記でRGB空間でのアフィン変換を仮定した。ここで，通常のカメラ画像はsRGB空間などで記述されており，sRGB色空間には非線形変換がかかっていることに注意する。このため，sRGB空間で記述された計測色を線形RGB空間に変換し，上記の色補正を実行する。

このように構成される本実施例によれば、色補正ARマーカ22は，ARマーカと色見本を同じ空間に重畳することが可能であり，比較的小さいマーカを用いて色見本とARマーカを同時に撮影し撮影色を計測することが可能である。これにより，色調補正が実現できる。さらにARマーカから物体と撮像装置の位置姿勢の関係を求めることができるため，物体色計測領域を特定できる。

実施例４では，すべての色補正ARマーカの色見本は校正済である必要があった。しかしながら，校正済の色見本をすべての撮影対象の数分だけ用意することは煩雑である。色見本を通常のプリンタなどで色補正ARマーカを印刷できれば利便性が向上する。
実施例５は上記のような目的に鑑み考案されたものである。

図１６は色見本校正機能つきの画像処理装置の説明図である。実施例５の色校正機能付き色計測装置40は，色見本校正装置50と，実施例４と同等の画像処理装置1から構成されている。

色見本校正装置50はマーカ校正用画像60として，色校正済みの色補正ARマーカ62(色が既知の色見本)と色校正されていない未校正ARマーカ61(色が未知の色見本)を同時に撮影する。この画像は色見本校正装置50に入力され，未校正の色ARマーカ61の色見本の色を特定する。
色見本校正後は，色調が校正された色補正ARマーカ61を用いて，色計測を行う。その手順は実施例４と同様であるため，ここでは省略する。

次に，図１７を用いて，色見本校正装置50の動作を説明する。なお，色見本校正装置50の構成要素は，図７の画像処理装置1の構成要素と同等のものであり，同じ装置，プログラムを用いることも可能である。
色見本校正装置50はマーカ校正用画像60を撮影して，校正済マーカ62と未校正マーカ61を比較して未校正マーカ61の色見本の色を特定する。

図１７の撮影対象において，マーカ62は色校正済みであり，マーカ61は色が未校正である。図に示したように，マーカ61とマーカ62のIDは別のものを使用する。これによって，どちらが校正済であり，どちらが未校正であるかを判別する。
色補正ARマーカ61および62をARマーカ画像分離部11およびARマーカ検出部の処理12によって検出する。さらに，色見本計測部14によって，校正済マーカ62および未校正マーカ61の撮影色を求める。

マーカ62は色校正済であるから，色調補正処理を実行可能である。この色調補正処理を未校正のマーカ61に適用することで，マーカ61の色見本の色を特定できる。
マーカ61の色見本の色が特定された場合には，そのマーカを用いて画像処理装置1によって物体の色の計測が可能である。

これによって，校正済みマーカ６２を少なくとも１枚用意することにより，この校正済みマーカとプリンタなどで簡便に印刷した未校正マーカ６２を組み合わせてマーカ校正用画像を作成することができる。そして，プリンタなどで簡便に印刷した色見本が重畳されたマーカを撮影対象に貼付することによって，撮影対象の物体色を正確に特定することが可能となる。

図１８はマーカ校正処理のフローチャートである。
まず，校正済62マーカからカメラ画像における色見本のマーカの撮影色を求める（S60）。次に校正済マーカの色見本の設定色と計測色（撮影色）から色調変換式を求める（S61）。これは，例えば色変換のアフィン行列Mを求めることに対応する。

次に，未校正マーカ61からカメラ画像におけるマーカ撮影色を求める（S62）。この撮影色を色調変換式を用いて色調補正して，未校正マーカの色を求める（S63）。
以上のとおり，実施例５によれば，カラープリンタなどを用いて色見本を重畳したマーカを簡便に印刷し，これを撮影対象に貼付することにより，正確に物体色を求めることが可能である。

実施例５ではカラープリンタなどを用いて未校正の色補正ARマーカ61を印刷し，校正済みの色補正ARマーカ62と同時に撮影することで，色補正ARマーカ61の色見本の色調補正を行う方法を示した。
この方法は，カラープリンタなどを用いて簡便にマーカを作成できるという特徴がある。しかしながら，色校正済のマーカと未校正のマーカとを同時に撮影し，校正する必要があった。

実施例６は，印刷したマーカごとに校正済みのマーカとの色補正を行わない例である。プリンタなどを用いてマーカを印刷する際に，同種類の紙，インクなどを用いれば，印刷の色の変動が少ないことを前提とすれば，プリンタ等で印刷したマーカごとに校正済みのマーカとの色補正を行う必要性は低い。

このため，実施例６においては，プリンタなどを用いて印刷した数個のマーカの平均値と校正済みマーカを用いて，実施例５において求めた色調変換式を予め求め，これを記憶装置などに保存しておく。そして，色補正ARマーカの使用時には，保存されている色調変換式を用いて色調補正して，未校正マーカの色を求める。
このようにして実施例５に比較してさらに簡便に色調補正を行うことができる。

このように構成される本実施例によれば、色補正ARマーカ22は，ARマーカと色見本を同じ空間に重畳することが可能であり，比較的小さいマーカを用いて色見本とARマーカを同時に撮影し撮影色を計測することが可能である。これにより，色調補正が実現できる。さらにARマーカから物体と撮像装置の位置姿勢の関係を求めることができるため，物体色計測領域を特定できる。

なお，本発明は上記した実施例に限定されるものではなく，様々な変形例が含まれる。例えば，上記した実施例は本発明を解りやすく説明するために詳細に説明したものであり，必ずしも説明したすべての構成を備えるものに限定されるものではない，

また，ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり，また，ある実施例の構成に他の実施例の構成を加えることも可能である。
また，各実施例の構成の一部について，他の構成の追加・削除・置換をすることが可能である。

また，上記の各構成，処理部，処理手段等は，それらの一部または全部を例えば集積回路で設計するなどによりハードウエアで実現してもよい。
また，上記の各構成，機能等は，プロセッサがそれぞれの機能を実現するプログラムを解釈し，実行することによりソフトウエアで実現してもよい。各機能を実現するプログラム，テーブル，ファイル等の情報は，メモリや，ハードディスク，ＳＳＤ（Solid State Drive）等の記録装置，または，ＩＣカード，ＳＤカード，ＤＶＤ等の記録媒体に置くことができる。

1：画像処理装置，10：撮像装置，11：マーカ画像分離部，12：マーカ検出部，13：物体色計測部，14：色見本計測部，15：色調補正部，22：色補正ARマーカ，23：物体色を計測する領域,40: 色校正機能付き画像処理装置，50：色見本校正装置，60：マーカ校正用画像，61：未校正色補正ARマーカ，62：校正済色補正ARマーカ

Claims (7)

1. 色見本を有するマーカにおいて，マーカ情報部に，色見本が重畳されて設けられたマーカ。
2. 請求項１において，前記色見本が，前記マーカ情報部の白色領域又は黒領域のいずれか一方に着色が施されて重畳されているマーカ。
3. 請求項１において，前記色見本が，前記マーカ情報部の白色領域及び黒領域のいずれにも着色が施されて重畳されているマーカ。
4. 請求項１において，マーカ情報部を形成する二値画像と，色見本を構成する２色以上の色彩パターンを合成して，マーカ情報部に色見本を重畳したマーカ。
5. 撮像部と，マーカ画像分離部と，マーカ検出部と，物体色計測部と，色見本計測部と色調補正部からなる画像処理装置であって，
   マーカ画像分離部は，色見本が重畳されたマーカ情報部からマーカ情報を分離し，
   マーカ検出部は，前記分離されたマーカを情報を検出する画像処理装置。
6. 請求項５において，
   画像処理装置は，色見本校正装置を含み，
   前記色見本校正装置は，マーカ校正用画像に含まれる，色が既知の色見本（以下「Ａ見本」という。）および色が未知の色見本（以下「Ｂ見本」という。）から，前記Ｂ見本の色を特定し，
   前記色調補正部は，撮影対象の物体に付された前記Ｂ見本の撮影色に基づき，前記物体の撮影色補正，物体色を特定する
   画像処理装置。
7. 請求項６において，
   前記色見本校正装置は，マーカ校正用画像に含まれるＡ見本に代えて，画像処理装置内に記憶されている，前記Ａ見本の色調補正処理情報から，前記Ｂ見本の色を特定する
   画像処理装置。

Images