JP2002056371A - 情報識別用マーカ及びその検出方法及び情報識別用マーカを用いた関連情報取得システム及び情報識別用マーカを用いた関連情報取得方法 - Google Patents

Abstract

(57)【要約】 【課題】 管理対象物の識別機能と、撮影時の照度条件
の検出機能と、管理対象物の三次元的相対位置の検出機
能とを同時に満たすマーカを得る。 【解決手段】 情報識別用マーカ１は、管理対象物４に
付されるもので、平面上の単色の背景色の中で四角形の
四隅にそれぞれ配置される有色のマーク２ａ，２ｂ，２
ｃ，２ｄと、四隅のマーク２ａ，２ｂ，２ｃ，２ｄの最
外辺を結ぶ表示領域２に管理対象物４を特定するデータ
を人間がそのまま理解可能な文字や図柄又はこれらの組
み合わせ等として表記されているアイコン３とから成
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理技術を用
い、ビデオ映像等の画像情報から管理対象物を識別する
ための情報識別用マーカ及びその検出方法に関する。

【０００２】

【従来の技術】最近の電子技術や関連技術の発展により
ビデオカメラが普及し、多量の画像情報を保有できる環
境になっている。このような環境において画像情報の有
効利用が各種の技術分野で計られている。例えば電気事
業においては、電力設備の巡視点検時にビデオカメラが
活用されており、当該巡視点検において得られた多量の
画像情報を後日再生等行い、保守の資料にしたり、事故
の発見に使用したり、新人教育に使用したりすることが
行われている。またこれらの画像情報をデータベース化
して、巡視点検時に必要な関連情報が自由に検索・閲覧
できるようになれば、異常の早期発見や、発見された異
常に対する迅速な対応が可能となる。そこで、ビデオ映
像等の多量の画像情報をデータベース化する技術の利用
が図られている。

【０００３】一方、多量の画像情報をデータベース化し
て有効活用するためには、計算機が容易に各画像情報を
識別する必要がある。そこで、撮影対象設備に情報識別
用のマーカを付すことが考えられる。現実の物体に計算
機が識別できるマーカを付して計算機に物体を識別させ
る最も代表的なものとしてバーコードがある。また、バ
ーコードを２次元に拡張した２次元マトリクスコードな
ども提案されている。

【０００４】また、データベース化された多量の画像情
報を利用して、例えば、異なる時に撮影した同一設備の
画像情報を比較する場合や、錆など色が重要な監視項目
である場合の画像情報の比較や検索を行なう場合は、各
画像情報の色が比較・検索の対象となる。このような場
合、撮影時の照度条件（照明の違いによる明るさや色合
い）によって、再現される色が大きく異なり、それに比
較・検索の結果が大きく左右されてしまうことがある。
比較・検索の精度を高めるには、画像情報の照度条件を
同じにするように色補正を行なう必要がある。このた
め、各画像情報毎に撮影時の照度条件を検出する必要が
ある。従来、ビデオ映像の色補正を行なうために、リフ
ァレンスとなる既知の色を同時に映像の中に撮り込み、
撮影時の照度条件（照明の違いによる明るさや色合い）
を検出する方法が行なわれている。

【０００５】また、得られた画像情報を加工するため
に、管理対象物にマーカを貼付して、それをビデオカメ
ラで撮影し、ビデオカメラに写っているマーカの形状か
らビデオカメラと管理対象物との三次元的相対位置を計
算する画像処理技術が従来ある。

【０００６】

【発明が解決しようとする課題】しかしながら、管理対
象物の識別機能と、撮影時の照度条件の検出機能と、管
理対象物の三次元的相対位置の検出機能とを同時に満た
す情報識別用マーカは従来ない。このため、データベー
ス化される多量の画像情報の有効活用を難しいものとし
ている。

【０００７】情報識別用マーカとしてバーコードを用い
た場合、バーコードそのものは人間にはわからないコー
ドであるため、多量の異なるバーコードを異なる管理対
象物に貼付する場合に貼付ミスが起こりかねない。ここ
で、パーソナルコンピュータ等のＧＵＩ（Ｇｒａｐｈｉ
ｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）で用いられる
アイコンを実世界に適用しバーコードとを組み合わせ
て、現実の物体に貼付することが提案されているが、こ
の場合、どこかでバーコードとアイコンとの対応を管理
する必要があり、バーコード及びアイコンが多量である
と管理は非常に煩雑となる。

【０００８】一方、２次元マトリクスコードによれば、
文字や図形の２次元パターンによって人間が理解できる
コードを作成することが可能ではあるが、コードを構成
する図形や文字は２次元マトリクスの升目で構成される
ものに限定されるため、簡単な文字や図形しか表現でき
ず、必ずしも管理対象物を容易に特定できるものとはな
らない。

【０００９】また、従来のバーコードや２次元マトリク
スコードは、白黒で構成されているために、バーコード
や２次元マトリクスコードをリファレンスとして撮影時
の照度条件を検出することはできない。そのため、別
途、リファレンスとなる既知の色を撮影毎に映像の中に
撮り込む必要がある。

【００１０】そこで、本発明は、管理対象物の識別機能
と、撮影時の照度条件の検出機能と、管理対象物の三次
元的相対位置の検出機能とを同時に満たす情報識別用マ
ーカ及びその検出方法を提供することを目的とする。

【００１１】また、本発明は、情報識別用マーカを用い
て管理対象物に関連した情報を取得する関連情報取得方
法及び関連情報取得システムを提供することを目的とす
る。

【００１２】

【課題を解決するための手段】かかる目的を達成するた
め、請求項１記載の発明は、管理対象物に付される情報
識別用マーカにおいて、平面上の単色の背景色の中で四
角形の四隅にそれぞれ配置される有色のマークと、四隅
のマークの最外辺を結ぶ表示領域に管理対象物を特定す
るデータを人間がそのまま理解可能な文字や図柄又はこ
れらの組み合わせ等として表記されているアイコンとか
ら成るものとしている。

【００１３】したがって、情報識別用マーカが付された
管理対象物の画像情報を用いて画像処理を行なうと、管
理対象物識別のための画像処理の対象を四隅のマークに
囲まれた情報識別用マーカ内に限定させてアイコンを認
識させることができ、かつリファレンス（参照）とする
照明の下で検出した背景色及び四隅のマークの色値と入
力画像から得た色との違いをもとに、撮影時の照度条件
を検出することができ、更に画像情報中の四隅のマーク
の座標位置より管理対象物の三次元的相対位置を検出す
ることができる。また、アイコンを用いることで情報識
別用マーカの貼付者が容易に管理対象物を特定でき、貼
付ミスを防止する。

【００１４】また、請求項２記載の発明は、請求項１記
載の情報識別用マーカにおいて、四隅のマークの１つが
他のマークと異なる色を有するようにしている。したが
って、人間の目視によるのは勿論、計算機での情報処理
によっても、情報識別用マーカの天地左右が認識可能に
なる。

【００１５】また、請求項３記載の発明は、請求項１ま
たは２のいずれかに記載の情報識別用マーカにおいて、
背景色を白色とし、四隅のマークの１つを赤色とし他は
緑としている。したがって、赤と緑および背景の白が、
相互に色の値が大きく異なり、計算機による色領域の検
出が照明状況の違いによらずに安定してできる。

【００１６】また、請求項４記載の発明は、請求項１か
ら３のいずれかに記載の情報識別用マーカにおいて、マ
ークは正方形であり、表示領域の四隅に角を合わせて配
置されているものとしている。したがって、情報識別用
マーカを検出するための幾何学的条件を容易に設定する
ことができる。

【００１７】請求項５記載の発明は、請求項１から４の
いずれかに記載の情報識別用マーカが貼付された管理対
象物の画像情報から情報識別用マーカの画像情報を検出
する方法において、前記マーカの四隅のマークとそれら
が配置されている四角形という条件を利用してアイコン
が表記される表示領域を検出すると共に、各マークの色
と背景色とを利用して撮影時の照度条件を検出するよう
にしている。この場合、計算機による画像処理で情報識
別用マーカを容易に検出することができると共に、撮影
時の照度条件を補正することにより同じにできるので、
照度条件を考慮した精度の高い画像検索が可能となる。
したがって、管理対象物に貼付する情報識別用マーカ
を、画像データベース装置に予め登録しておくことで、
一致若しくは最も類似する既登録情報識別用マーカを検
索して、情報識別用マーカを認識することが可能とな
る。

【００１８】請求項６記載の情報識別用マーカを用いた
関連情報取得システムは、請求項１から４のいずれかに
記載の情報識別用マーカと、情報識別用マーカの画像情
報と情報識別用マーカが貼付される管理対象物に関する
関連情報とが関連付けされて登録される画像データベー
スと、管理対象物を撮影する画像入力手段と、画像入力
手段により得られる入力画像情報を処理する画像処理手
段と、画像処理手段からの出力を表示する利用者端末と
を備え、画像処理手段は、入力画像情報から情報識別用
マーカを検出して検索用画像情報を得ると共に、マーク
の色と背景色を利用して撮影時の照度条件を検出して検
索用画像情報及び画像データベースに登録される入力画
像情報の照度補正を行い、照度補正された検索用画像情
報を用いて画像データベースに登録されている既登録情
報識別用マーカの画像情報と比較照合し、一致若しくは
最も類似する既登録情報識別用マーカに関連付けられて
いる管理対象物の関連情報を取り出し、関連情報を前記
利用者端末に出力表示するようにしている。

【００１９】また、請求項８記載の情報識別用マーカを
用いた関連情報取得方法は、請求項１から４のいずれか
に記載の情報識別用マーカを管理対象物に貼付し、この
情報識別用マーカを含む管理対象物を画像入力手段によ
って画像情報として取り込む一方、該入力画像情報から
情報識別用マーカを検出して検索用画像情報を得ると共
に、マークの色及び背景色を利用して撮影時の照度条件
を検出して検索用画像情報又は入力画像情報の照度補正
を行い、検索用画像情報を用いて情報識別用マーカの画
像情報と前記マーカが付される管理対象物の関連情報と
が関連付けされて予め登録された画像データベースを検
索し、一致若しくは最も類似する既登録情報識別用マー
カに関連付けられている管理対象物の関連情報を取り出
し、関連情報を利用者端末に出力表示するようにしてい
る。

【００２０】したがって、設備巡視等で、利用者が画像
入力手段で情報識別用マーカが付された撮影対象設備を
撮影することで、画像入力手段と撮影対象設備との三次
元的相対位置や撮影時の照度条件が検出でき、さらに撮
影対象設備に関連する有用な情報を即座に利用者に提示
できる。

【００２１】また、請求項７記載の発明は、請求項６記
載の関連情報取得システムにおいて、画像処理手段は、
入力画像情報におけるマークの座標位置から情報識別用
マーカの画像入力手段に対する三次元的相対位置を検出
し、入力画像情報と関連情報とを合成して利用者端末に
出力表示するようにしている。また、請求項９記載の発
明は、請求項８記載の関連情報取得方法において、マー
クの座標位置から情報識別用マーカの画像入力手段に対
する三次元的相対位置を検出し、入力画像情報と関連情
報とを合成して利用者端末に出力表示するようにしてい
る。

【００２２】したがって、管理対象物に関連した有用な
情報を撮影映像に的確に組み合わせて利用者端末側に表
示させることが可能となる。

【００２３】

【発明の実施の形態】以下、本発明の構成を図面に示す
実施形態に基づいて詳細に説明する。

【００２４】図１から図１４に本発明の情報識別用マー
カと、この情報識別用マーカを用いて関連情報取得シス
テムを利用する電気設備の巡視点検支援システムの実施
の一形態を示す。情報識別用マーカ１は、点検対象とな
る電気設備等の管理対象物４（以下、単に管理対象物と
呼ぶ）に付されるもので、平面上の単色の背景色の中で
四角形の表示領域２の四隅にそれぞれ配置される有色の
マーク２ａ，２ｂ，２ｃ，２ｄと、四隅のマーク２ａ，
２ｂ，２ｃ，２ｄの最外辺を結ぶ表示領域２に管理対象
物４を特定するデータを人間がそのまま理解可能な文字
や図柄又はこれらの組み合わせ等として表記されている
アイコン３とから成るものである。

【００２５】情報識別用マーカ１は、大きく３つの機能
を提供するものである。１つは情報識別用マーカ１が付
される管理対象物４の識別機能である。１つは情報識別
用マーカ１とビデオカメラ等の画像入力機器５との三次
元的相対位置の検出機能である。１つは撮影時点の照度
条件の検出機能である。これら機能は、情報識別用マー
カ１が付された管理対象物４の画像情報に対し後述する
所定処理を行なう中で発揮される。

【００２６】まず、上記機能を発揮する情報識別用マー
カ１の構成の好適な一例について説明する。

【００２７】四隅のマーク２ａ，２ｂ，２ｃ，２ｄは、
好ましくは、その中の１つ例えばマーク２ａと他のマー
ク２ｂ，２ｃ，２ｄとが互いに区別できる異なる色を有
するようにしている。これにより、目視による場合は勿
論のこと、計算機での情報処理によっても、情報識別用
マーカ１の天地左右が認識可能になる。勿論、マーカ１
の天地左右を識別する別の手段を講ずる場合には、必ず
しも４つのマーク２ａ，２ｂ，２ｃ，２ｄに対して色分
けをすることはない。しかしながら、本実施形態では、
好適な一例として背景色を白、左上マーク２ａを赤、残
りのマーク２ｂ，２ｃ，２ｄの３つを緑としている。こ
の赤と緑および背景の白は、相互に色の値が大きく異な
るため、撮影時の照度条件をリファレンスとする照明の
下で検出した同じ３つの色値と比較して補正値を求める
際に安定して計算できるからである。

【００２８】マーク２ａ，２ｂ，２ｃ，２ｄは、例え
ば、本実施形態では同じ大きさの正方形であり、表示領
域２の四隅に角を合わせて即ち同じ向きにして、四角形
の表示領域２の四隅に配置されている。ここで、各マー
ク２ａ，２ｂ，２ｃ，２ｄの形状は、正方形に限られ
ず、長方形、台形、三角形、扇形、『形、円、楕円、菱
形などのさまざまの形状が使用可能であるが、表示領域
２を認識する画像処理を容易にするには表示領域２の四
隅の角に合致する角を有する形状、例えば四角形、長方
形、台形、三角形、扇形、『形の使用がより好ましく、
最も好ましくは画像入力手段５と情報識別用マーカ１と
の位置関係、即ち撮影位置を３次元的に計算で求める際
に図形の歪にその位置関係が正確に反映する正方形の使
用である。また、四隅の各マーク２ａ，２ｂ，２ｃ，２
ｄは、同じ形状、同じ大きさ、同じ向きで配置されるこ
とが好ましいが、場合によっては異なる形状、異なる大
きさの、異なる向きのものを組み合わせて使用すること
も可能である。例えば、マーカ１の向きを定める基準と
なる色違いのマーク２ａの代わりに、異なる形状、異な
る大きさ、異なる向きのマークを採用することも可能で
ある。尚、表示領域２は正方形に限られるものではな
く、縦横比が一定であれば長方形のような形状でも良
い。

【００２９】四隅のマーク２ａ，２ｂ，２ｃ，２ｄの最
外辺を結ぶ輪郭の内側即ち表示領域２には、管理対象物
４を特定するデータを人間がそのまま理解可能な文字や
図柄又はこれらの組み合わせ等として表すアイコン３が
表記される。アイコン３は、例えば図２に例示するよう
に、情報識別用マーカ１を管理対象物４に貼付する作業
者が直に見ることによって管理対象物４を特定できるも
のであり、人間がそのまま理解できる図柄だけではなく
視覚では認識し難い図柄等の濃淡（濃度変化）や描画密
度、大きさ、位置等での情報の描画も必要に応じて含ま
れる識別コードである。なお、アイコン３には、マーク
２ａ，２ｂ，２ｃ，２ｄおよび背景色に用いる色以外の
色で容易に区別のできる色を用いることが望ましい。照
度条件によっては、マーク２ａ，２ｂ，２ｃ，２ｄの色
と混同する色を用いると、マーカ検出処理において情報
識別用マーカ１の検出精度が下がる場合があるからであ
る。

【００３０】このように構成された情報識別用マーカ１
は、例えば、情報識別用マーカ１が付された管理対象物
４の画像情報を用いて、マーク２ａ，２ｂ，２ｃ，２ｄ
の色と背景色と表示領域２の輪郭を示す四角形の形状と
の条件より情報識別用マーカ１を検出するマーカ検出処
理によって、容易に検出することができる。

【００３１】ここで、情報識別用マーカ１が付された管
理対象物４の画像情報は、画像入力手段例えばデジタル
ビデオカメラ等のデジタル画像入力機器５によって取り
込まれ、画像処理手段でデータベースへの登録のための
処理並びにデータベース検索のための処理が行われると
共に利用者端末６にフレーム毎の画像データ７（図１あ
るいは図３参照）として表示される。

【００３２】本実施形態では、処理高速化のために、例
えば図３〜図８に示すように、例えば、縦４８０画素、
横６４０画素から成るオリジナルの画像データ（以下、
オリジナル画像データと呼ぶ）７を一旦荒くサンプリン
グ（例えば、横８０画素、縦６０画素）して画像データ
（以下、サンプリング画像データと呼ぶ）８とし、その
上でマーク２ａ，２ｂ，２ｃ，２ｄの検出を行い、その
後、検出したマーク２ａ，２ｂ，２ｃ，２ｄを基にオリ
ジナル画像データ７から情報識別用マーカ１を切り出す
ようにしている。

【００３３】ただし、サンプリング画像データ８を利用
するものに限るものではなく、最初からオリジナル画像
データ７の解像度で処理を行うことも勿論可能である。
この場合は、サンプリングに起因する検出ミスは起こら
ない。ただし当然ながら、計算に要するステップ数は格
段に増加し、並列処理装置を用いない場合は、同じ演算
装置の場合に比して処理速度が遅くなる。

【００３４】サンプリング画像データ８を利用する場合
において、マーカ検出処理にて検出ミスが起こった場合
は、例えば、サンプリングの初期値の解像度を上げて再
度サンプリングすることで、検出ミスを減らすことがで
きる。

【００３５】マーカ検出処理の詳細な内容の一例を図１
１に示すフローチャートに従って説明する。

【００３６】先ず、サンプリング画像データ８から、四
隅のマーク２ａ，２ｂ，２ｃ，２ｄの色即ち本実施形態
では赤と緑の領域を検出する（マーカ検出処理；ステッ
プ１）。色領域検出の具体的方法としては、例えば、色
を色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、明
度（Ｖａｌｕｅ）のＨＳＶ色空間に変換し、色相を厳し
く、彩度と明度を緩くして検出するという従来からある
色領域検出方法を用いる。これにより照度条件に対して
比較的安定して、緑と赤の領域を検出できる。サンプリ
ング画像データ８から検出された赤領域を図５に、緑領
域を図６に示す。この段階（マーカ検出処理；ステップ
１）では、情報識別用マーカ１でない場所も多数検出し
ていることがわかる。

【００３７】次に、背景色の情報を用いて、四隅のマー
ク２ａ，２ｂ，２ｃ，２ｄの色領域の絞り込みを行う
（マーカ検出処理；ステップ２）。即ち、本実施形態で
は、白地に赤と、白地に緑という特徴を使って絞り込
む。これにより、マーク２ａ，２ｂ，２ｃ，２ｄの色と
まぎらわしい色の領域があっても、背景色上にあるもの
のみが取り出されるため、より確実に四隅のマーク２
ａ，２ｂ，２ｃ，２ｄの領域を検出できる。白地に赤と
いう条件で絞り込んだ赤の領域を図７に示す。この例の
場合では、オリジナル画像データ７に示すように、左上
の赤いサインペンと赤いプラグが白いテーブルの上にあ
るために当該領域が残っている。白地に緑という条件で
絞り込まれた緑の領域を示す図を図８に示す。

【００３８】次に、四角形の形状条件を用いて、四隅の
マーク２ａ，２ｂ，２ｃ，２ｄの領域を絞り込む（マー
カ検出処理；ステップ３）。情報識別用マーカ１の四隅
のマーク２ａ，２ｂ，２ｃ，２ｄは、四角形（本実施形
態では、正方形）の四隅にあるという幾何学的条件を使
って、ステップ２までに絞り込まれた候補をさらに絞り
込む。例えば、ステップ２までで絞り込まれた、赤の領
域と、緑の領域を結ぶベクトルを計算し、それらの組み
合わせで、正方形を投影した状態にもっとも近い組み合
わせを探し出す。具体的には、例えば、赤（マーク２
ａ）から右上の緑（マーク２ｂ）へのベクトルをＬベク
トル、赤から左下の緑（マーク２ｃ）へのベクトルをＲ
ベクトル、赤から右下の緑（マーク２ｄ）へのベクトル
をＤベクトルとし、Ｌ＋Ｒ＝Ｄにもっとも近い組み合わ
せを探す。これにより、四隅のマーク２ａ，２ｂ，２
ｃ，２ｄの大まかな位置と各々のマーク２ａ，２ｂ，２
ｃ，２ｄが情報識別用マーカ１のどの位置（左上、右
上、左下、右下）にあるかを検出することができる。図
９に正しく情報識別用マーカ１のベクトルを表示した図
を示す。これにより、例えば、ステップ２までに絞り込
めなかった画面左の赤の領域は、上記条件を満たさず、
マーク検出の候補から除外される（図１０）。

【００３９】なお、実際には、情報識別用マーカ１平面
の法線が画像入力機器５の視線とずれる量と、画像入力
機器５への接近度合に応じて、上述の四角形の形状条件
からずれてくる。ただし、本実施形態では、サンプリン
グ画像データ８で粗く処理を行なっており、斜めから極
端に接写しないかぎりは許容誤差範囲であるため、処理
の単純さを優先している。

【００４０】次に、ステップ３にて検出した四隅のマー
ク２ａ，２ｂ，２ｃ，２ｄの位置を出発点としてオリジ
ナル画像データ７から、四隅のマーク２ａ，２ｂ，２
ｃ，２ｄの正確な領域を切り出す（マーカ検出処理；ス
テップ４）。これにより、オリジナル画像データ７から
四隅のマーク２ａ，２ｂ，２ｃ，２ｄに囲まれた正確な
表示領域２が検出される（図１２）。なお、切り出しに
は、例えば、上述したＨＳＶの値のうち、白地との差が
大きい彩度（Ｓａｔｕｒａｔｉｏｎ）を優先して、ＨＳ
Ｖの閾値を設定し、検出に用いる。四隅のマーク２ａ，
２ｂ，２ｃ，２ｄの端を繋ぐと、内部のアイコン３が描
かれる正方形の表示領域２になる。

【００４１】次に、オリジナル画像データ７から取り出
される表示領域２に描かれているアイコン３は歪んでい
るので、これを平面上の座標に変換し、検索用マーカ画
像データ１’を生成する（マーカ検出処理；ステップ
５）。生成された検索用マーカ画像データ１’の一例を
図１３に示す。

【００４２】なお、一旦マーカ検出処理（ステップ１〜
５まで）が行われ情報識別用マーカ１が検出されると、
それ以降は、初期値としてもともと決めておいた赤や緑
の色の値を用いず、検出されたマーク２ａ，２ｂ，２
ｃ，２ｄの赤や緑の色の値を基準としてステップ１の領
域検出を行うことが好ましい。これにより、徐々に照度
条件が変化し、赤や緑の色の値が初期値から大幅に変化
するような場合でも、色の値を追跡して安定して色領域
を検出することができる。

【００４３】次に、情報識別用マーカ１の色を利用して
行われる撮影時の照度条件の検出について説明する。

【００４４】本発明の情報識別用マーカ１によれば、マ
ーカ検出処理の過程で四隅のマーク２ａ，２ｂ，２ｃ，
２ｄの色と背景色の色値が得られる。例えば、本実施形
態では、背景色の白と、四隅のマーク２ａ，２ｂ，２
ｃ，２ｄに使われる赤及び緑との合計３色の色値が得ら
れる。ここで、色値は一般にＲＧＢもしくはＨＳＶ等の
３次元の配列データとして表現される。管理対象物４は
同じでも、照明の変化により、オリジナル画像データ７
から取得される色値は変化する。

【００４５】一方、本実施形態においては、これら白・
赤・緑の３色は、すべての情報識別用マーカ１に共通し
た既知の色である。そこで、照度条件検出処理では、所
定照度条件の下で参考値として予め取得してある白・赤
・緑の３つの色値（以下、参考色値と呼ぶ。）と、オリ
ジナル画像データ７から得られた白・赤・緑の３つの色
値（以下、計測色値と呼ぶ。）の違いをもとに、オリジ
ナル画像データ７がどういった照度条件で撮影されたも
のであるかを計算し、撮影時の照度条件を検出する。

【００４６】本実施形態では、精度の高い照度条件検出
を行なうべく、例えば、画像データ７から得られる３つ
の色値を基に線形補間して、画像データ７の明るさや大
まかな色合いを計測して照度条件を検出する。例えば、
得られた照度条件を基に、参考色値の所定照度条件に合
わせて、検索用マーカ画像データ１’の照度補正を行な
う。

【００４７】照度補正された検索用マーカ画像データ
１’は、例えば画像データベース２０に予め登録されて
いる情報識別用マーカ１の画像データと比較照合され、
検索用マーカ画像データ１’と一致若しくは最も類似す
る既登録情報識別用マーカ１の画像データを検索するよ
うにして、計算機により認識される。この結果、管理対
象物４を識別することが可能となり、さらには、管理対
象物４の関連情報を情報識別用マーカ１に関連付けて即
ちリンクさせて画像データベース２０に登録しておくこ
とで、当該関連情報を情報識別用マーカ１を検索キーと
して画像データベース２０から取り出すことが可能とな
る。なお、関連情報とは、例えば、管理対象物４の名称
等の属性情報、管理対象物４の過去の画像情報、担当管
理者名、情報識別用マーカ１の貼付日時等、管理対象物
４に関連したあらゆる情報を含むものであり、その内容
が特に限定されるものではない。

【００４８】例えば、本実施形態では、検索用マーカ画
像データ１’を６４×６４の配列に蓄え、検索キー即ち
検索用画像情報として用いる。この場合、各配列の値
は、オリジナル画像データ７から抽出された画素の色値
に上述の照度補正を用いて補正した値としている。

【００４９】次に、情報識別用マーカ１とビデオカメラ
等の画像入力機器５との三次元的相対位置を検出するマ
ーカ位置検出処理について説明する。三次元的相対位置
とは、実際の三次元空間で、情報識別用マーカ１の貼付
対象面が画像入力機器５に対しどの方向を向いていて、
どのくらい離れているか、という事である。

【００５０】上述のマーカ検出処理の過程において、オ
リジナル画像データ７中におけるマーク２ａ，２ｂ，２
ｃ，２ｄの正確な座標位置が検出される。これにより、
情報識別用マーカ１と画像入力機器５との相対的な三次
元位置関係を検出することができる。

【００５１】まず四隅のマーク２ａ，２ｂ，２ｃ，２ｄ
の最外辺を結んだ正方形の４頂点の画面上での座標を、
ｓ１，ｓ２，ｓ３，ｓ４とする。ｓ１，ｓ２，ｓ３，ｓ
４それぞれは四角形（正方形）の左上、右上、左下、右
下に相当する。ｓ１からｓ２に向かうベクトルをａベク
トル、ｓ１からｓ３に向かうベクトルをｂベクトルとす
る。

【００５２】また、実際の三次元空間で、四隅のマーク
２ａ，２ｂ，２ｃ，２ｄの三次元座標を、Ｓ１，Ｓ２，
Ｓ３，Ｓ４とする。それぞれ正方形の左上、右上、左
下、右下に相当する。ここでＳ１からＳ２に向かうベク
トルをＡベクトル、Ｓ１からＳ３に向かうベクトルをＢ
ベクトルとする。

【００５３】Ａ，Ｂ両ベクトルは本来直交しており、か
つ長さがあらかじめわかっている。またａ，ｂベクトル
はそれぞれＡ，Ｂベクトルの同一平面への射影である。
これらの条件をもとにａ，ｂベクトルから、Ａ，Ｂベク
トルのｚ成分を計算する。

【００５４】これによりｚ成分が２組解として求められ
る。これは射影が平面への奥からの射影なのか、手前か
らの射影なのか、二つの可能性があるからである。ここ
で、ｓ２からｓ４へのベクトルをｃベクトル、ｓ３から
ｓ４へのベクトルをdベクトルとする。すると、以下の
条件が成立する。 ａベクトルの長さがｄベクトルより長く、かつ、ｂベ
クトルの長さがｃベクトルの長さより長い場合は、Ｓ１
がもっとも手前でＳ４がもっとも奥に位置する。 ａベクトルの長さがｄベクトルより短く、かつ、ｂベ
クトルの長さがｃベクトルの長さより長い場合は、Ｓ３
がもっとも手前でＳ２がもっとも奥に位置する。 ａベクトルの長さがｄベクトルより長く、かつ、ｂベ
クトルの長さがｃベクトルの長さより短い場合は、Ｓ２
がもっとも手前でＳ３がもっとも奥に位置する。 ａベクトルの長さがｄベクトルより短く、かつ、ｂベ
クトルの長さがｃベクトルの長さより短い場合は、Ｓ４
がもっとも手前でＳ１がもっとも奥に位置する。

【００５５】これらの条件により、ｚ成分の２組解のう
ち一方の可能性を排除して、１つのｚ成分の組を解とす
る。なお、ベクトルの長さが等しい場合は上記条件によ
る判定はできないが、この場合は、例えば前フレームの
画像データの値を採用することで回避できる。

【００５６】Ａ，Ｂベクトルが計算されると、その両方
に直交するベクトルを計算することができ、それが情報
識別用マーカ１平面の法線ベクトルとなる。これら３つ
のベクトルの値は、画像入力機器５と情報識別用マーカ
１との三次元的な相対位置と等価な情報である。この情
報を得ることで、例えば、表示画面内に管理対象物４の
特定の部位を指示するガイドを三次元的に合成して表示
するといった処理が可能となる。

【００５７】なお、さらに正確な相対位置（距離と角
度）を計算するには、使用する画像入力機器５がどうい
った光学的性質をもっているかを予め計測しておく必要
がある。

【００５８】また、上記マーカ位置検出処理では、演算
量を少なくして高速処理を可能とするため、本来ビデオ
映像が透視投影になっていることを考慮していない。こ
のため、上述したマーカ検出手法と同様に、ビデオカメ
ラが情報識別用マーカ１に斜めから接写した場合などに
誤差を生じるが、その誤差は実用上問題とならない程度
のものである。

【００５９】このような機能を有する情報識別用マーカ
１を利用することにより、関連情報取得システムを構成
することができる。図１４に、同システムの構成の一例
を示す。この関連情報取得システムは、情報識別用マー
カ１と、情報識別用マーカ１の画像情報と情報識別用マ
ーカ１が付される管理対象物４の関連情報とが関連付け
されて登録される画像データベース２０と、管理対象物
４を撮影する画像入力手段５と、画像入力手段５により
得られる入力画像情報を処理する画像処理手段１７と、
画像処理手段１７からの出力を表示する利用者端末６と
から構成されている。

【００６０】画像処理手段１７は、画像入力手段５から
取り込まれる画像情報・ビデオ映像をそのままあるいは
ビデオシーン毎にマーカ関連情報としてデータベースへ
記録すると共に、例えば先に説明したマーカ検出処理に
より入力画像情報を用いて情報識別用マーカ１を検出し
て検索用画像情報即ち検索用マーカ画像データ１’を得
て、画像データベース２０に登録されている既登録情報
識別用マーカ１の画像情報と検索用マーカ画像データ
１’とを比較照合し、一致若しくは最も類似する既登録
情報識別用マーカ１に関連付けられている管理対象物４
の関連情報をデータベース２０から取り出し、関連情報
９として利用者端末６の液晶ＴＶ１４に出力表示する。

【００６１】また、本実施形態の画像処理手段１７で
は、例えば先に説明した照度条件検出処理により撮影時
の照度条件を検出し、適宜検索用マーカ画像データ１’
又はデータベース入力画像情報の照度補正を行うように
している。

【００６２】さらに、本実施形態の画像処理手段１７で
は、先に説明したマーカ位置検出処理を実行して情報識
別用マーカ１の画像入力手段５に対する三次元的相対位
置を検出し、必要に応じて、画像入力手段５から得た入
力画像情報・オリジナル画像データ７と要点検箇所Ｐな
どを示す関連情報とを合成して利用者端末６に出力表示
するようにしている。

【００６３】画像入力手段５は、例えば、電気設備等を
撮像してビデオ映像を作成する電荷結合素子カメラ（以
下、ＣＣＤカメラ５と呼ぶ。）である。ＣＣＤカメラ５
からのビデオ映像は、例えば、無線インタフェース１
０，１１を介し、テレビ電波で画像処理手段１７に送ら
れる。ＣＣＤカメラ５は、非常に小型化されており、手
に持って撮像が可能である。

【００６４】利用者端末６は、例えば、画像処理手段１
７から無線インターフェース１２，１３を介してテレビ
電波を使って送られてくる画像処理した出力結果を受信
し画面表示する液晶ＴＶジョン受像機１４（以下、「液
晶ＴＶ１４」という）と、情報処理機能を有し画像処理
手段１７とＬＡＮ（ローカル エリア ネットワーク）
を経由して双方向情報通信を行う携帯情報端末１５とを
有する。液晶ＴＶ１４は、例えば、掌に入る程の外形を
しており、手にもって表示画面を見ることが可能であ
る。携帯情報端末１５は、例えば、一人で現場に携帯が
可能な大きさに形成されている。

【００６５】画像処理手段１７及び画像データベース２
０は、本実施形態では所定の画像処理及びデータベース
処理を実行するプログラムとコンピュータシステム１６
によって実現されている。コンピュータシステム１６
は、画像処理等の各種の演算処理を実行する画像処理装
置１７と、画像データベース２０並びにビデオデータ１
９を格納する大容量外部記憶装置１８と、無線インタフ
ェース１１，１３と、その他図示しないが、ディスプレ
イ、キーボード、マウス等の入出力装置や、利用者端末
６とのＬＡＮ通信インターフェース等を備える。画像処
理装置１７は、図示していないが、演算処理部、主メモ
リ、ＲＯＭ、入出力インターフェース等を備えており、
適宜、主メモリ上に記憶される本発明を実現する処理プ
ログラムに基づいて演算処理部が各画像情報の処理や各
種の演算処理を実行し、本発明に係る各種の機能２１〜
２８を実現する。

【００６６】ビデオ映像録画・再生機能２１は、例え
ば、ＣＣＤカメラ５から送られるビデオ映像を、そのま
まモーションＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａ
ｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）のビデオデー
タ１９として大容量外部記憶装置１８に蓄えて画像処理
装置１７の制御下に録画・再生を可能とする機能であ
る。

【００６７】マーカ検出機能２３は、マーカ検出処理を
実行して検索用マーカ画像データ１’を得る機能であ
る。照度補正機能２４は、照度条件検出処理を実行して
マーカ検出処理より得る検索用マーカ画像データ１’又
はデータベース機能２２で得られた入力画像情報の照度
補正を適宜行う機能である。マーカ検索機能２５は、検
索用マーカ画像データ１’と画像データベース装置１８
の登録済マーカ・関連情報データベース２０に登録され
ている既登録情報識別用マーカ１の画像情報とを比較照
合し、一致若しくは最も類似する既登録情報識別用マー
カ１を検索して、管理対象物４の関連情報を取り出すた
めの機能である。マーカ位置検出機能２６は、マーカ位
置検出処理を実行する機能である。

【００６８】オーバレイ映像表示機能２７は、例えば、
関連情報のうちＣＣＤカメラ５から得た画像情報にオー
バレイ（重ね表示）すべき情報がある場合に、マーカ位
置検出機能２６より得られる情報識別用マーカ１のＣＣ
Ｄカメラ５に対する三次元的相対位置情報を基に、ＣＣ
Ｄカメラ５から得た入力画像情報と関連情報取得処理よ
り得た関連情報とを合成して、利用者端末６側でオーバ
レイ表示させるための機能である。例えば、点検箇所の
指示や設備の操作方法などを具体的な場所を示しながら
指示することも可能である。

【００６９】関連情報登録・提示機能２８は、携帯情報
端末１５に関連情報を出力表示すると共に、携帯情報端
末１５からの関連情報の入力要求を受付て、画像データ
ベース２０への関連情報の登録を可能とする機能であ
る。

【００７０】本実施形態の画像データベース装置は、大
容量外部記憶装置１８から成り、情報識別用マーカ１及
びその関連情報を蓄積しデータベース２０を構築するも
のである。

【００７１】データベース機能２２は、入力されるビデ
オ映像を自動的にシーン毎に分割してマーカ１に関連し
た形でデータベース２０に自動登録するものである。ま
た、図示していないが、例えば、画像区切処理機能と、
登録処理可能の他に、変化特徴抽出機能を与えることに
よって、設備表面の特定の場所や錆、しみ等の特記事項
の記録・検索を可能にすることもできる。画像処理装置
１７により、主メモリにある処理プログラムに従って、
画像区切処理手段と、登録処理手段、更には必要に応じ
て変化特徴抽出手段と検索処理手段とが実現され、デー
タベース２０が構築される。

【００７２】即ち、ＣＣＤカメラ５で撮像したビデオ映
像は、無線インターフェース１０，１１を介しコンピュ
ータシステム１６の画像処理装置１７に入力されると、
フレーム間の差分をとり当該差分が所定の比較値から大
きく逸脱したときに変化があったと判断してビデオ映像
を時区間に区切る。そして、シーン毎に分割された画像
は、当該マーカ１に関連した形でデータベース２０に登
録される。また、錆やしみ等の特記事項の変化を検出す
る必要がある場合には、フレーム毎にビデオ映像の色情
報が変化した部分の色パターンを変化特徴として抽出し
て変化のあった画素周辺を部分グリッドとして取り出す
とともに、これら部分グリッドを画像区切処理工程で区
切った時区間単位に含まれる画像の中から集計する。こ
れにより、フレーム毎に色が変化した部分の色パターン
を抽出し、色パターンの集合を得る。そして、変化特徴
抽出工程で集計された部分グリッドは、当該マーカに関
連した形でデータベース２０に登録される。

【００７３】この一連の処理は、例えば、ＣＣＤカメラ
５からビデオ映像の入力がある限り継続して実行される
ようにする。

【００７４】〔画像区切処理の説明〕画像区切処理は、
図１５に示すフローチャートのように、例えばフレーム
間の色の変化を基本として時区間を区切るようにしてい
る。この画像区切処理は、例えば、色変化フレーム間差
分を取り、その過去数フレーム分の平均値（これを、
「比較値」という）を基準とし、この基準から大きく逸
脱した場合に変化があったと判定している。具体的に
は、次のようにしている。

【００７５】まず、各フレーム画像の計算量を削減する
ため、例えばニアレストネイバー法を使用して取込みビ
デオ映像を粗く縮小する（Ｓ３０１）。次いで、縮小さ
れた画像の各画素値をc(x,y)として、フレーム間差分計
算処理手段によりフレーム間差分dfを計算する（Ｓ３０
２）。

【００７６】このＳ３０２における計算（すなわち、フ
レーム間差分計算処理手段による計算）は、次のように
して行う。現在の各画素値をc(x,y)とし、一つ前のフレ
ーム画素値をc'(x,y) とし、その差を取ったものをd と
すると、

【数１】d＝c(x,y)−c'(x,y) が得られる。そして、この dをｓ(d) に代入することに
より、

【数２】 となってフレーム間差分dfが得られることになる。

【００７７】ここでは、画素値の差分は、赤（Ｒ）、青
（Ｂ）、グリーン（Ｇ）の距離空間での距離とした。な
お、色はＲＧＢのそれぞれを１０段階とする１０００色
に規格化している。

【００７８】さらに、s(d)として次のステップ関数を利
用している。すなわち、

【数３】 s(d)＝０ : ０≦ｄ＜s1 ＝w1 : s1 ≦ｄ＜s2 ＝w2 : s2 ≦ｄ＜s3 ＝w3 : s3 ≦ｄ＜Max(最大値） ここに、s1，s2，s3は変化範囲を区分するパラメータで
ある。このパラメータは、詳細なノイズの影響を除去す
るためと、各画素値の実際の差分よりも、差のある画素
数を重視するためである。このようにする理由は、直接
距離を利用すると、明るさが大きく変化するスポットば
かりが強調されて、全体のうっすらとした変化が見過ご
されてしまうことを防止するためである。

【００７９】次に、フレーム間差分の過去ｎフレーム分
の平均値（比較値）をdfn とし、これの比較値dfn を基
に、あるフレームk の状態を次の３つの状態に分類する
（Ｓ３０３， Ｓ３０６）。これらＳ３０３，Ｓ３０６
の処理は、具体的には、フレーム状態決定手段により実
行される。

【００８０】まず、 数式４の計算をする（Ｓ３０
３）。

【数４】dfn＋ dfn×b ＋o もし、df＞ dfn＋ dfn×b ＋o ならば（Ｓ３０４；ＹＥ
Ｓ）、フレームk は活性であるとする（Ｓ３０５）。

【００８１】Ｓ３０４でＮＯと判定されたときには、

【数５】dfn−dfn ÷c −o の計算をし（Ｓ３０６）、仮に、df＜ dfn−dfn÷c −o
ならば（Ｓ３０７；ＹＥＳ）、フレームk は沈静であ
るとする（Ｓ３０８）。

【００８２】ステップ３０４及びステップ３０７でＮＯ
と判定されたときには（Ｓ３０７；ＮＯ）、フレームk
は定常であるとする（Ｓ３０９）。

【００８３】ここで、定数b ，c は逸脱範囲を決めるパ
ラメータである。定数ｏはノイズの影響を免れるための
オフセット値である。

【００８４】このように過去の平均値と現に入力されて
いるフレームとを比較することにより、人間の視野にお
ける残像のような画像の処理が行われることになる。

【００８５】そして、画像区切処理において状態遷移判
定は、フレームの状態をフレーム毎に計算し、同じ状態
がｍフレーム連続した場合に（Ｓ３１０；ＹＥＳ）、状
態遷移が確定したとしている（Ｓ３１１）。もちろん、
同じ状態がｍフレーム続かない場合には（Ｓ３１０；Ｎ
Ｏ）、状態遷移は確定しないものとする。そして、どち
らの場合も、通常は（Ｓ３１２；ＮＯ）、再び、最初の
ステップ３０１に戻って処理を継続させる。また、画像
区切処理は、処理停止指令があったときに（Ｓ３１２；
ＹＥＳ）、上記画像処理を停止する。

【００８６】ここで、パラメータｍを小さくすると時間
的な変化に敏感になり、パラメータｍを大きくすると時
間的な変化に鈍感になる。この実施の形態では、ｍ＝３
とし、３フレーム以上同じ状態が連続した場合、「定
常」、「活性」、「沈静」の３状態を確定している。ま
た、状態で確定した時点を変化点としている。

【００８７】このような画像区切処理によれば、ＣＣＤ
カメラ５におけるビデオ映像の変化が小さいときは小さ
な変化に敏感になり、大きく変化しているビデオ映像で
は少々の映像の変化は無視されるように動作することに
なる。

【００８８】以上のような画像処理装置１７によれば、
ＣＣＤカメラ５から入力されるビデオ映像を、設備状態
の変化や視野内への進入物、巡視者の移動などに応じて
自動的にシーンを分割し、その場ですぐさまデータベー
ス２０に登録することが可能であり、さらに、過去の類
似ビデオ映像を関連情報として利用者に提示することが
可能となる。なお、図１４中のデータベース機能２２
は、画像データベース装置１８の画像区切処理、変化特
徴抽出処理、登録・検索処理を実行する機能を表す。

【００８９】以上のように構成される関連情報取得シス
テムを、例えば、設備巡視点検の支援システムとして用
いた一例について説明する。この場合、関連情報は、例
えば、管理対象物となる設備４のプロファイル（設備名
称、担当管理者等の属性）情報、操作マニュアル、点検
記録、レポート、登録空間位置、過去の巡視ビデオ映像
等、作業者の巡視点検を支援するための有用な情報であ
る。なお、関連情報の内容が特にこれに限定されるもの
ではない。

【００９０】先ず、情報識別用マーカ１を巡視点検の対
象となる設備４に貼付する。ここで、情報識別用マーカ
１のアイコン３は、作業者に設備４を連想させる文字や
図柄又はこれらの組み合わせ等であるため、人的要因に
よる情報識別用マーカ１の貼付ミスを削減することがで
きる。

【００９１】次いで、情報識別用マーカ１をデータベー
ス２０に例えば次のようにして登録する。情報識別用マ
ーカ１を貼付した設備４をＣＣＤカメラ５により撮影す
る。ＣＣＤカメラ５のビデオ映像は、コンピュータシス
テム１６に送られ、ビデオ映像録画・再生機能２１によ
り、そのままモーションＪＰＥＧのビデオデータ１９と
して録画される。それと同時に、マーカ検出機能２３に
より情報識別用マーカ１が検出される。そして、例え
ば、携帯情報端末１５より設備名称等のプロファイル情
報を入力すると、関連情報登録・提示機能２８を介し
て、データベース２０に情報識別用マーカ１及びプロフ
ァイル情報が登録される。

【００９２】以後、この情報識別用マーカ１をＣＣＤカ
メラ５に写すと、ＣＣＤカメラ５のビデオ映像はビデオ
映像録画・再生機能２１に送られると同時に、データベ
ース機能２２に送られ、シーンの区切り目が検出され、
情報識別用マーカ１の関連情報の一つとしてデータベー
ス２０に保存される。

【００９３】また、ビデオ映像はマーカ検出機能２３へ
送られ、照度補正機能２４により照度補正され、マーカ
検索機能２５により、撮影される情報識別用マーカ１と
一致若しくは最も類似する既登録情報識別用マーカ１が
検索されて、管理対象物４の関連情報が取り出される。
そして、関連情報登録・提示機能２８を介して携帯情報
端末１５に関連情報が表示される。

【００９４】なお、表示できる関連情報が複数項目ある
場合は、例えば、作業者が知りたい関連情報を指定する
ことができるように、携帯情報端末１５に選択可能な関
連情報９を図１に示すようにメニュー表示するようにし
ても良い。利用者が携帯情報端末１５にて関連情報を選
択すると、携帯情報端末１５からその旨が関連情報登録
・提示機能２８に送られ、関連情報登録・提示機能２８
では当該選択された関連情報が携帯情報端末１５に表示
されるようにする。これにより、作業者は、設備４に関
連した設備管理情報、操作マニュアル、点検記録、以前
の巡回映像等の関連情報を適宜その場で簡単に見ること
ができる。

【００９５】さらに、オーバレイすべき情報がある場合
は、マーク位置検出機能２６及びオーバレイ映像表示機
能２７により、ＣＣＤカメラ５から得たビデオ映像中の
設備４の所望の場所に関連情報がオーバレイされ、その
映像は利用者の手元の液晶ＴＶ１４に表示される。これ
により、例えば、設備４における点検すべき箇所等が具
体的に指示される。図１の矢印Ｐは、このオーバレイ表
示された場合の一例を示す。

【００９６】また、設備４表面の特定の場所を関連情報
としてデータベース２０に記録する場合は、例えば次の
ようにして行なう。携帯情報端末１５のインターフェー
ス画面上において当該記録したい場所をペン入力装置や
マウス等のポインティングデバイスでクリックにより指
定する。すると、当該指定された場所と情報識別用マー
カ１との三次元的相対位置情報が、関連情報登録・提示
機能２８を介して、関連情報の一つとしてデータベース
２０に登録される。そして、以後、マーク位置検出機能
２６及びオーバレイ映像表示機能２７により、登録され
た当該位置情報は液晶ＴＶ１４の画面上にオーバレイし
て表示することが可能となる。これにより、例えば、設
備４の操作方法や必要点検個所を具体的な場所を指示し
ながら示すことが可能となる（図１の矢印Ｐ）。

【００９７】また、例えば、設備４表面の錆やしみなど
の特記事項を関連情報としてデータベース２０に記録す
ることで、検索対象とすることもできる。さらに、錆等
の色情報を登録又は検索する際に、照度補正機能２４に
より撮影時の照度条件を考慮して照度補正することで、
検索精度を大幅に上げることができる。これにより、例
えば、関連情報の一つとして過去の巡回映像を蓄積して
おけば、これら関連情報を巡視点検の現場で効率的に取
り出すことができ、同一設備４の過去の画像情報と現在
の画像情報とを比較して錆の進行等をその場で容易に確
認できる。

【００９８】なお、上述の関連情報取得システムの構成
は一例であり、これに限定されるものではない。例え
ば、関連情報取得システムの諸機能２１〜２８を１台の
コンピュータシステム１６上で実行せず、複数のコンピ
ュータシステム１６で分散処理させるようにしても良
い。また、上述した液晶ＴＶ１４と携帯情報端末１５と
の両機能を備える一体型の利用者端末６を構成するもの
としても良い。さらに、利用者端末６がＣＣＤカメラ５
の機能を有するものとしても良い。また、利用者端末
６、ＣＣＤカメラ５と計算機１６との通信インターフェ
ース及び通信プロトコルは特に限定されるものでなく、
例えば、すべて無線化するものとしても良い。

【００９９】以上のように、本発明の情報識別用マーカ
１によれば、管理対象物４の識別機能、撮影時の照度条
件の検出機能、管理対象物４の三次元的相対位置の検出
機能の３つの機能を１のマーカで同時に達成することが
可能である。

【０１００】即ち、本発明の情報識別用マーカ１では、
作業者が管理対象物４を容易に特定できるアイコン３を
用いているので、情報識別用マーカ１を管理対象物４へ
貼付する際にミスを防止することができる。また、当該
アイコン３自体がコンピュータシステム１６が認識対象
とする識別コードとなるため、コンピュータシステム１
６が読取可能なコードと人間が理解可能な文字や図柄と
をあらためて対応付ける必要はなく、マーカ管理を容易
に行なえる。

【０１０１】さらに、情報識別用マーカ１の四隅のマー
ク２ａ，２ｂ，２ｃ，２ｄにより、管理対象物４識別の
ための画像処理の対象を情報識別用マーカ１内に限定さ
せることが可能となり、計算機による画像処理の負担を
軽減させることができる。

【０１０２】さらに、情報識別用マーカ１の背景色と四
隅のマーク２ａ，２ｂ，２ｃ，２ｄの色を参考色とし
て、撮影時の照度条件を検出することが可能であるか
ら、照度条件を考慮した精度の高い画像検索が可能とな
る。これにより、錆などの設備表面の色が点検項目の一
つである場合には、照度条件を揃えた状態で比較できる
ため、正確な点検が容易に可能となる。また、画像デー
タベース２０に対して、色情報を登録又は検索する際
に、この照度条件を考慮して登録又は検索することで検
索精度を大幅に上げることができる。

【０１０３】さらに、情報識別用マーカ１の四隅のマー
ク２ａ，２ｂ，２ｃ，２ｄにより、管理対象物４の三次
元的相対位置を検出することで、撮影される映像に関連
した有用な情報を撮影映像に的確に組み合わせることが
可能となる。これにより、有用な作業支援システムを構
築することができる。

【０１０４】本発明の情報識別用マーカ１を用いた関連
情報取得システムによれば、ＣＣＤカメラ５で情報識別
用マーカ１が付された管理対象物４を撮影するだけで、
ＣＣＤカメラ５と管理対象物４との三次元的相対位置や
撮影時の照度条件が検出でき、さらに設備４に関連する
有用な情報を即座に利用者に提示できるので、作業を効
果的に支援することができる。

【０１０５】なお、上述の実施形態は本発明の好適な実
施の一例ではあるがこれに限定されるものではなく、本
発明の要旨を逸脱しない範囲において種々変形実施可能
である。

【０１０６】例えば、マーカ検出処理の速度向上のため
に、一旦マーカが認識された後は、次のフレームではそ
の近傍のみを検索するようにしても良い。

【０１０７】また、情報識別用マーカ１表面とカメラの
間で鏡面関係が結ばれると、いわゆる「てかり」の状態
になり、瞬間的に色が変化してしまい情報識別用マーカ
１の検出に失敗する場合がある。これに対し、例えば、
従来道路標識などに使われている再帰性反射材などを用
いて、このような問題を軽減するようにしても良い。

【０１０８】また、より精密な照度補正を行いたい場合
には、上述の実施形態で示した３色（赤、緑、白）での
補正では十分でない場合がありえる。その場合はマーカ
上に追加の色リファレンスを加えることで精度向上を計
るようにしても良い。例えば、四隅のマーク２ａ，２
ｂ，２ｃ，２ｄの内側にさらに異なる色を有するマーク
２ａ’，２ｂ’，２ｃ’，２ｄ’を付加したり、四隅の
マーク２ａ，２ｂ，２ｃ，２ｄの全てを互いに異なる色
にするようにしても良い。

【０１０９】また、ＣＣＤカメラ５が情報識別用マーカ
１から離れて、ビデオ映像中で情報識別用マーカ１の占
める領域が小さくなるに従って、既登録情報識別用マー
カとの照合に用いる検索用画像データ１’は粗いものに
なり、それに応じて識別精度が落ちる場合がある。この
場合、例えば、ビデオ映像中で情報識別用マーカ１の占
める領域が所定大きさ以下であれば、マーカ検出機能２
３にてこれを認識し、関連情報登録・提示機能２８を介
して、情報識別用マーカ１に向かってカメラを近づける
或いはズームアップする旨の指示を利用者端末６に出力
するようにしても良い。

【０１１０】

【発明の効果】以上の説明から明らかなように、請求項
１記載の情報識別用マーカによると、平面上の単色の背
景色の中で四角形の四隅にそれぞれ配置される有色のマ
ークと、四隅のマークの最外辺を結ぶ表示領域に管理対
象物を特定するデータを人間が理解可能な文字や図柄又
はこれらの組み合わせ等として表記されているアイコン
とから成るものとしているので、情報識別用マーカが付
される管理対象物の識別機能、撮影時点の照度条件の検
出機能、情報識別用マーカと画像入力機器との三次元的
相対位置の検出機能とを１のマーカで同時に満たすこと
が可能となる。また、画像処理の対象を情報識別用マー
カ内に限定させることで計算機による画像処理の負担を
軽減させることができ、照度条件を検出することで照度
条件を考慮した精度の高い画像検索が可能となり、三次
元的相対位置を検出することで撮影される映像に関連し
た有用な情報を撮影映像に的確に組み合わせることが可
能となる。さらに、人間がそのまま理解可能なアイコン
を用いて、容易に管理対象物を特定できるものとして、
対象物への貼付ミスを防止することができる。また、当
該アイコン自体が計算機が認識対象とする識別コードと
なるため、計算機が読取可能なコードと人間が理解可能
な文字や図柄とをあらためて対応付ける必要はなく、マ
ーカ管理を容易に行なえる。

【０１１１】さらに、請求項２記載の情報識別用マーカ
では、四隅のマークの１つが他のマークと異なる色を有
するようにしているので、人間の目視によるのは勿論、
計算機での情報処理によっても、情報識別用マーカの天
地左右が認識可能になる。

【０１１２】さらに、請求項３記載の情報識別用マーカ
では、背景色を白色とし、四隅のマークの１つを赤色と
し他は緑としているので、赤と緑および背景の白が相互
に色の値が大きく異なり、計算機による色領域の検出が
照明状況の違いによらずに安定して行なえる。

【０１１３】さらに、請求項４記載の情報識別用マーカ
では、マークを正方形とし、表示領域の四隅に角を合わ
せて配置されるものとしているので、情報識別用マーカ
を検出するための幾何学的条件を容易に設定することが
できる。

【０１１４】請求項５記載の情報識別用マーカの検出方
法によると、情報識別用マーカが付された管理対象物の
画像情報を用いて、四角形の四隅に配置されたマークを
利用して情報識別用マーカを容易に検出することができ
ると共に、各マークの色と背景色とを利用して撮影時の
照度条件を検出するようにしているので、照度条件同じ
にした精度の高い画像検索を行なうことができる。した
がって、どんな色か、どんな図柄か正確に検出でき、管
理対象物を図柄更には色の特徴で容易に識別することが
可能となる。

【０１１５】請求項６記載の情報識別用マーカを用いた
関連情報取得システム及び請求項８記載の情報識別用マ
ーカを用いた関連情報取得方法によれば、利用者が画像
入力手段で情報識別用マーカが付された撮影対象設備を
撮影するだけで、管理対象物を特定し、さらには管理対
象物に関連する有用な情報を即座に利用者に提示でき
る。したがって、設備巡視等の点検作業等に利用すれ
ば、その作業を効果的に支援することができる。

【０１１６】さらに、請求項７記載の情報識別用マーカ
を用いた関連情報取得システム及び請求項９記載の情報
識別用マーカを用いた関連情報取得方法によれば、管理
対象物に関連した有用な情報を撮影映像に的確に組み合
わせて利用者端末側に表示させることが可能となる。こ
れにより、有用な作業支援システムを構築することがで
きる。

【図面の簡単な説明】

【図１】本発明の情報識別用マーカの実施の一形態を示
した概略構成図である。

【図２】本発明の情報識別用マーカの例を示す図であ
り、（Ａ）から（Ｆ）は様々なアイコンを有する情報識
別用マーカの例を示す。

【図３】マーカ検出処理において、画像入力手段より得
られたオリジナルの画像データを示す図である。

【図４】マーカ検出処理において、画像データを粗くサ
ンプリングした画像データを示す図である。

【図５】マーカ検出処理において、サンプリングした画
像データから検出された赤領域を示す図である。

【図６】マーカ検出処理において、サンプリングした画
像データから検出された緑領域を示す図である。

【図７】図５に示す赤領域から、白地に赤という条件で
絞り込んだ赤領域を示す図である。

【図８】図６に示す緑領域から、白地に緑という条件で
絞り込んだ緑領域を示す図である。

【図９】マーカ検出処理において、四角形の形状条件の
一例を示す示す図である。

【図１０】マーカ検出処理において、四角形の形状条件
による絞込みの一例を示す示す図である。

【図１１】マーカ検出処理の一例を示すフローチャート
である。

【図１２】マーカ検出処理において、オリジナルの画像
データから情報処理識別マーカの領域を検出する例を示
す図である。

【図１３】マーカ検出処理において、生成された検索用
画像データの一例を示す図である。

【図１４】本発明の情報識別用マーカを用いた関連情報
取得システムの実施の一形態を示すブロック図である。

【図１５】ビデオ画像の自動画像区切処理の処理フロー
チャートの一例である。

【符号の説明】

１ 情報識別用マーカ １’ 検索用マーカ画像情報 ２ 表示領域 ２ａ 左上のマーク（四隅のマーク） ２ｂ 右上のマーク（四隅のマーク） ２ｃ 左下のマーク（四隅のマーク） ２ｄ 右下のマーク（四隅のマーク） ３ アイコン ４ 管理対象物 ５ ＣＣＤカメラ（画像入力手段） ６ 利用者端末 ７ 入力画像（オリジナル画像データ） ９ 関連情報 １６ コンピュータシステム １７ 画像処理手段 ２０ データベース

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 1/00 ２８０ Ｇ０６Ｋ 19/00 Ｑ

Claims (9)

【特許請求の範囲】
1. 【請求項１】 管理対象物に付される情報識別用マーカ
   において、平面上の単色の背景色の中で四角形の四隅に
   それぞれ配置される有色のマークと、前記四隅のマーク
   の最外辺を結ぶ表示領域に前記管理対象物を特定するデ
   ータを人間がそのまま理解可能な文字や図柄又はこれら
   の組み合わせ等として表記されているアイコンとから成
   ることを特徴とする情報識別用マーカ。
2. 【請求項２】 前記四隅のマークの１つが他のマークと
   異なる色を有することを特徴とする請求項１記載の情報
   識別用マーカ。
3. 【請求項３】 前記背景色は白色であり、前記四隅のマ
   ークの１つが赤色で他は緑であることを特徴とする請求
   項１または２のいずれかに記載の情報識別用マーカ。
4. 【請求項４】 前記マークは正方形であり、前記表示領
   域の四隅に角を合わせて配置されていることを特徴とす
   る請求項１から３のいずれかに記載の情報識別用マー
   カ。
5. 【請求項５】 請求項１から４のいずれかに記載の情報
   識別用マーカが貼付された管理対象物の画像情報から前
   記情報識別用マーカの画像情報を検出する方法におい
   て、前記マーカの四隅のマークとそれらが配置されてい
   る四角形という条件を利用して前記アイコンが表記され
   る表示領域を検出すると共に、前記各マークの色と前記
   背景色とを利用して撮影時の照度条件を検出することを
   特徴とする情報識別用マーカの検出方法。
6. 【請求項６】 請求項１から４のいずれかに記載の情報
   識別用マーカと、前記情報識別用マーカの画像情報と前
   記情報識別用マーカが貼付される管理対象物に関する関
   連情報とが関連付けされて登録される画像データベース
   と、前記管理対象物を撮影する画像入力手段と、前記画
   像入力手段により得られる入力画像情報を処理する画像
   処理手段と、前記画像処理手段からの出力を表示する利
   用者端末とを備え、前記画像処理手段は、前記入力画像
   情報から前記情報識別用マーカを検出して検索用画像情
   報を得ると共に、前記マークの色と前記背景色を利用し
   て撮影時の照度条件を検出して前記検索用画像情報及び
   前記画像データベースに登録される入力画像情報の照度
   補正を行い、照度補正された前記検索用画像情報を用い
   て前記画像データベースに登録されている既登録情報識
   別用マーカの画像情報と比較照合し、一致若しくは最も
   類似する既登録情報識別用マーカに関連付けられている
   前記管理対象物の関連情報を取り出し、前記関連情報を
   前記利用者端末に出力表示することを特徴とする情報識
   別用マーカを用いた関連情報取得システム。
7. 【請求項７】 前記画像処理手段は、前記入力画像情報
   における前記マークの座標位置から前記情報識別用マー
   カの前記画像入力手段に対する三次元的相対位置を検出
   し、前記入力画像情報と前記関連情報とを合成して前記
   利用者端末に出力表示することを特徴とする請求項６記
   載の情報識別用マーカを用いた関連情報取得システム。
8. 【請求項８】 請求項１から４のいずれかに記載の情報
   識別用マーカを管理対象物に貼付し、この情報識別用マ
   ーカを含む前記管理対象物を画像入力手段によって画像
   情報として取り込む一方、該入力画像情報から前記情報
   識別用マーカを検出して検索用画像情報を得ると共に、
   前記マークの色及び前記背景色を利用して撮影時の照度
   条件を検出して前記検索用画像情報又は前記入力画像情
   報の照度補正を行い、照度補正された前記検索用画像情
   報を用いて前記情報識別用マーカの画像情報と前記マー
   カが付される前記管理対象物の関連情報とが関連付けさ
   れて予め登録された画像データベースを検索し、一致若
   しくは最も類似する既登録情報識別用マーカに関連付け
   られている前記管理対象物の関連情報を取り出し、前記
   関連情報を利用者端末に出力表示することを特徴とする
   情報識別用マーカを用いた関連情報取得方法。
9. 【請求項９】 前記マークの座標位置から前記情報識別
   用マーカの前記画像入力手段に対する三次元的相対位置
   を検出し、前記入力画像情報と前記関連情報とを合成し
   て前記利用者端末に出力表示することを特徴とする請求
   項８記載の情報識別用マーカを用いた関連情報取得方
   法。