JP2007206619A - 情報呈示装置及び情報呈示方法 - Google Patents

Abstract

【課題】照明が十分にない場所でもライトなどの照明を用いることなく、マーカ等の特徴画像箇所を検出して、該特徴画像箇所に関連付けられた関連情報を、多数の作業者等の多数のユーザが同時且つ良好に確認できるように呈示可能とすること。
【解決手段】情報呈示装置は、所定の撮影範囲を撮影するカメラを含む画像入力部１０と、上記カメラが撮影した画像上で、所定の特徴画像箇所の一つであるマーカ２６を検出するマーカ検出部１２と、上記マーカ検出部１２が検出したマーカ２６に直接又は間接に関連付けられた関連情報を光学的に投影するプロジェクタを含む投影部２４と、少なくとも上記プロジェクタが上記関連情報を投影していない期間において、上記プロジェクタが上記カメラの撮像範囲を照明する照明光を照射するように制御する色温度制御部２２と、を備える。
【選択図】図１

Description

本発明は、情報を呈示する情報呈示装置及び情報呈示方法に関する。

従来より、撮影した対象画像（マーカ像）を認識し、それによってその対象画像に関連する情報を呈示するシステムが各種提案されている。

例えば、特許文献１には、画像入力手段の情報から撮影時の焦点距離と画像切出しサイズとから画角を得る光学情報手段、画角に基づいて撮影者位置及び撮影方向を算出する算出手段、を備えた画像情報付加装置と、一対の図柄を有した標識手段と、標識手段を撮像する方向と同一方向における背景画像とこれに付随する付随情報とを格納した情報格納手段と、を備えた画像情報付加システムであって、一対の図柄の撮影画像から撮影者位置と撮影方向を算出し、これに基づいて情報格納手段から入手した背景画像情報を加工処理して同一視野の背景画像情報を取得するとともに付随情報を取得し、同一視野の背景画像と付随情報を表示する画像情報付加システムが開示されている。

また、特許文献２には、プロジェクタなどの画像投影手段を用いてマーカを投影するシステムが開示されている。
特開２００３−２４４４８８号公報 特開２００２−３２４２３９号公報

従来の情報呈示装置では、ノートＰＣやＰＤＡ等を用いて、作業者に保守・点検等に必要な支援情報を、実際に撮影した対象物の画像に重畳呈示することが行われてきた。しかしながら、実際の作業現場で使用するには、ＰＤＡ等では画面が小さくて、作業者が支援情報を確認するのに不便である。

また、作業者が数名程度である場合には問題とはならないが、大勢の作業者がノートＰＣなどの画面上に呈示された支援情報を用いて同時に作業することは困難であった。

そこで、対象物に情報を直接呈示する手段としてプロジェクタなどの画像投影手段で情報を投影する方法が考えられる。

一方、照明が十分にない場所では、マーカを認識するためにライトなどの照明が必要となるという問題があった。

本発明は、上記の点に鑑みてなされたもので、照明が十分にない場所でもライトなどの照明を用いることなく、マーカ等の特徴画像箇所を検出して、該特徴画像箇所に関連付けられた関連情報を、多数の作業者等の多数のユーザが同時且つ良好に確認できるように呈示可能な情報呈示装置及び情報呈示方法を提供することを目的とする。

本発明の情報呈示装置の一態様は、
所定の撮影範囲を撮影する撮影手段と、
上記撮影手段が撮影した画像上で、所定の特徴画像箇所を検出する検出手段と、
上記検出手段が検出した特徴画像箇所に直接又は間接に関連付けられた関連情報を光学的に投影する投影手段と、
少なくとも上記投影手段が上記関連情報を投影していない期間において、上記投影手段が上記撮像手段の撮像範囲を照明する照明光を照射するように制御する制御手段と、
を具備することを特徴とする。

また、本発明の情報呈示方法の一態様は、
光学的投影装置を使って、所定の範囲を照明するステップと、
上記照明された所定の範囲を撮影するステップと、
上記撮影した画像上で、所定の特徴画像箇所を検出するステップと、
上記所定の特徴画像箇所に直接又は間接に関連付けられた関連情報を、上記光学的投影装置を使って投影するステップと、
を具備することを特徴とする。

本発明によれば、少なくとも投影手段が関連情報を投影していない期間において、投影手段を撮像手段の撮像範囲を照明する照明手段として使用することで、照明が十分にない場所でもライトなどの照明を用いることなく、マーカ等の特徴画像箇所を検出して、該特徴画像箇所に関連付けられた関連情報を、多数の作業者等の多数のユーザが同時且つ良好に確認できるように呈示可能な情報呈示装置及び情報呈示方法を提供することができる。

以下、本発明を実施するための最良の形態を図面を参照して説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る情報呈示装置の構成を示す図で、該情報呈示装置は、画像入力部１０、マーカ検出部１２、位置姿勢検出部１４、マーカ情報格納部１６、関連情報生成部１８、関連情報格納部２０、色温度制御部２２、及び投影部２４から構成されている。

ここで、上記画像入力部１０は、所定の撮影範囲を有するカメラを含み、そのカメラによって対象物及びその対象物に固定された光学的な特徴を有する特徴画像箇所を撮影する。なお、本実施形態では、特徴画像箇所を、対象物に貼られているマーカ２６とする。このマーカ２６は、予め定められた形状の枠部と、その内部に記された文字を含む記号や意匠とから構成される。勿論、本発明は、そのようなマーカ２６に限定されるものではなく、例えば、バーコード等の情報を符号化したシンボル、対象物を構成する直線、線分の交点、四角枠の少なくとも３頂点、等、光学的に識別可能な特徴を有するものであれば、どのような特徴画像箇所であっても構わない。

上記画像入力部１０のカメラにより取得した画像は、マーカ検出部１２に入力される。このマーカ検出部１２は、マーカ情報格納部１６に格納されている情報に基づいて、入力された画像内から上記マーカ２６の画像を検出し、対応するマーカ２６を同定する。そして、その同定結果を位置姿勢検出部１４に供給する。

位置姿勢検出部１４は、上記マーカ検出部１２からの同定結果を用いて、マーカ情報格納部１６に格納されている情報に基づいて、上記同定したマーカ２６に対する画像入力部１０のカメラの位置姿勢を検出し、関連情報生成部１８に供給する。

なお、マーカ情報格納部１６には、マーカ２６のテンプレート画像やマーカ２６の属するエリア情報、マーカ２６の配置されている位置姿勢情報等のマーカ２６に関する情報が格納されている。

関連情報生成部１８は、上記位置姿勢検出部１４で検出した上記画像入力部１０のカメラの位置姿勢に応じて、関連情報格納部２０から各マーカ２６に直接又は間接に関連付けられた情報を抽出し関連情報を生成し、色温度制御部２２に供給する。なお、関連情報格納部２０には、モデル空間上に配置されたモデルの位置姿勢情報や形状情報、属性情報、色情報等の関連情報が格納されている。

色温度制御部２２は、上記関連情報生成部１８から関連情報が供給されるまでの間、投影部２４が、一定の色温度、例えば白色となるような照明光を投影し、上記関連情報が供給された後はその関連情報を投影するような情報を投影部２４に供給する。

投影部２４は、上記画像入力部１０のカメラに対して所定の位置姿勢で配置されたプロジェクタを含み、上記色温度制御部２２から得られた情報を投影する。これにより、対象物の表面等に、関連情報の画像２８が投影呈示される。なお、「カメラに対して所定の位置姿勢で配置されたプロジェクタ」とは、カメラとプロジェクタとの配置関係が固定された一体型の構成であっても良いし、別体であっても所定の位置姿勢で設置されたものであっても良い。また、位置姿勢関係が予め決められた位置姿勢に配置されていなくても、何らかの手法によってカメラに対するプロジェクタの位置姿勢が検出できるのであれば、その検出した位置姿勢をもって「所定の位置姿勢で配置された」と見なすことができる。

図２は、本実施形態に係る情報呈示装置の動作フローチャートを示す図である。

まず、色温度制御部２２は、投影部２４に対して、一定の色温度での投影するような情報を出力し、投影部２４から投影を開始する（ステップＳ１０）。この投影された情報が照明光として利用される。

次に、画像入力部１０のカメラでマーカ２６を撮影した画像をマーカ検出部１２に入力する（ステップＳ１２）。マーカ検出部１２では、画像内からマーカ２６の予め定められた形状、本実施形態では四角枠である枠部を検出する（四角枠の検出は、公知の画像処理手法であるので、説明は省略する）。ここで、そのような枠部が検出できなければ、即ち、特徴画像箇所であるマーカ２６が検出できなければ（ステップＳ１４）、上記ステップＳ１２に戻る。

これに対して、特徴画像箇所が検出できたならば、次に、検出した四角枠の四隅の画像内での座標を検出し、四角枠の内部を抽出してアフィン変換を行い、アフィン変換後の画像とマーカ情報格納部１６に予め登録してあるマーカ２６のテンプレート画像とのパターンマッチングを行うことで、マーカ２６の同定（この場合、マーカ２６の枠部内部に記された記号や意匠が「５０」のマーカであることの同定）を行う（ステップＳ１６）。ここで、マーカ２６のテンプレート画像と一致しない画像であれば、即ち、対象物の特徴画像箇所でなければ（ステップＳ１８）、マーカ２６として検出せずに、上記ステップＳ１２に戻る。

このように、特徴画像箇所であるマーカ２６の検出ができない場合、あるいは対象物の特徴画像箇所ではない場合には、色温度制御部２２は一定の色温度で出力し、投影部２４は一定の色温度で投影を続ける。例えば、一定の色温度は、マーカ２６が認識しやすい白色でも良いし、対象物である壁などの色に合わせて変更することも可能である。何れにしても、人間にとって対象物やマーカ２６が視認可能となり、且つ、画像入力部１０のカメラでマーカ２６を撮影してマーカ検出部１２で検出可能となるような、照明光として利用できる色温度であれば、どのようなものであっても構わない。

そして、マーカ２６が同定されると、マーカ情報格納部１６から対応するマーカの空間定位情報（マーカ２６の属するエリア情報、マーカ２６の配置されている位置姿勢情報）を入手できるので、位置姿勢検出部１４では、画像内でのマーカ２６の四隅の位置から画像入力部１０のカメラの位置姿勢を検出することが可能になる（ステップＳ２０）。

関連情報生成部１８は、上記位置姿勢検出部１４で検出した上記画像入力部１０のカメラの位置姿勢に応じて、関連情報格納部２０から予め設定された情報を抽出し関連情報を生成し、投影部２４に供給する（ステップＳ２２）。

この時点で、色温度制御部２２は、上記の一定の色温度での出力を中止し、上記関連情報生成部１８から入力された関連情報を投影部２４に対して出力する（ステップＳ２４）。これにより、投影部２４のプロジェクタから関連情報が対象物に対して投影される。

例えば、図３（Ａ）は、実空間における対象物３０を示す図で、画像入力部１０のカメラによって撮影されるマーカ２６が固定されている。図３（Ｂ）は、関連情報格納部２０に格納され、関連情報生成部１８から生成される関連情報を示す図である。これは、上記対象物３０の３次元モデル２８Ａと、該３次元モデルのモデル空間でマーカ２６の下に配されたアノテーション情報２８Ｂ（「エリア１」、「マーカ５０」等）を含む。図３（Ｃ）は、このような関連情報を実空間に投影した状態を示している。

以上のように、本第１実施形態に係る情報呈示装置では、マーカ２６（特徴画像箇所）を認識して、当該マーカ２６に関連する情報を投影部２４のプロジェクタで投影するものとし、当該プロジェクタをマーカ２６の照明手段としても利用している。即ち、色温度制御部２２を設けて投影する色温度を制御し、投影部２４を照明手段として使用できるようにしている。

従って、投影部２４のプロジェクタを照明手段として使用するため、他の照明手段を設ける必要がなくなり、また、そのようにマーカ２６の検出前には照明手段として使用したプロジェクタを、検出後には関連情報の投影手段として使用することが可能となる。よって、照明が十分にない場所でもライトなどの照明を用いることなく、マーカ等の特徴画像箇所を検出して、該特徴画像箇所に関連付けられた関連情報を、多数の作業者等の多数のユーザが同時且つ良好に確認できるように呈示可能となる。

［第２実施形態］
次に、本発明の第２実施形態を説明する。

本第２実施形態に係る情報呈示装置の構成は、上記第１実施形態に係る情報呈示装置の構成と同様であるので、その説明は省略する。但し、本実施形態においては、色温度制御部２２は、関連情報の内、特徴画像箇所については一定の色温度での出力を続ける機能を備えたものである。

即ち、図３（Ｂ）に示したような関連情報を実空間に投影すると、図３（Ｃ）に示すように、マーカ２６の部分にまで情報が投影されてしまう。すると、作業者はマーカ２６を確認することができなくなる場合がある。また、何らかの要因で画像入力部１０のカメラ及び投影部２４のプロジェクタの設定位置が移動してしまうと、投影されている関連情報が干渉して、マーカ検出部１２でのマーカ２６の検出が困難となる。

そこで、本実施形態では、色温度制御部２２において、図３（Ｂ）に示すような関連情報生成部１８から得られた関連情報に対して、図３（Ｄ）に示すように、マーカ２６の部分については、一定の色温度での出力を続けるような情報に、上記関連情報生成部１８からの関連情報を変形して、投影部２４へ出力する。この場合、一定の色温度での出力を続ける部分の大きさは、上記マーカ２６の大きさよりも若干大きくしておくことが好ましい。これにより、投影部２４からは、図３（Ｅ）に示すように、このマーカ２６の部分には照明光が当てられ、その他の部分には関連情報が投影されることとなる。

以上のように、本第２実施形態に係る情報呈示装置では、関連情報の投影中にも、マーカ２６の視認及び検出が可能となる。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

（付記）
前記の具体的実施形態から、以下のような構成の発明を抽出することができる。

（１） 所定の撮影範囲を撮影する撮影手段と、
上記撮影手段が撮影した画像上で、所定の特徴画像箇所を検出する検出手段と、
上記検出手段が検出した特徴画像箇所に直接又は間接に関連付けられた関連情報を光学的に投影する投影手段と、
少なくとも上記投影手段が上記関連情報を投影していない期間において、上記投影手段が上記撮像手段の撮像範囲を照明する照明光を照射するように制御する制御手段と、
を具備することを特徴とする情報呈示装置。

（対応する実施形態）
この（１）に記載の情報呈示装置に関する実施形態は、第１及び第２実施形態が対応する。

（作用効果）
この（１）に記載の情報呈示装置は、少なくとも投影手段が関連情報を投影していない期間において、投影手段が撮像手段の撮像範囲を照明する照明光を照射する。

従って、この（１）に記載の情報呈示装置によれば、照明が十分にない場所でもライトなどの照明を用いることなく、マーカ等の特徴画像箇所を検出して、該特徴画像箇所に関連付けられた関連情報を、多数の作業者等の多数のユーザが同時且つ良好に確認できるように呈示可能となる。

（２） 上記投影手段が照射する照明光は、その色温度が一定になるように制御されていることを特徴とする（１）に記載の情報呈示装置。

（対応する実施形態）
この（２）に記載の情報呈示装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（２）に記載の情報呈示装置によれば、色温度が一定であるので、人間にとって撮影範囲内が視認しやすく、また、検出手段にとっても特徴画像箇所を検出しやすい。

（３） 上記色温度は、照明光が白色になるように制御されていることを特徴とする（２）に記載の情報呈示装置。

（対応する実施形態）
この（３）に記載の情報呈示装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（３）に記載の情報呈示装置によれば、照明光が白色となるので、特徴画像箇所が認識しやすい。

（４） 上記特徴画像箇所は、マーカであることを特徴とする（１）に記載の情報呈示装置。

（対応する実施形態）
この（４）に記載の情報呈示装置に関する実施形態は、第１実施形態が対応する。

（作用効果）
この（４）に記載の情報呈示装置によれば、既知のマーカ検出手法が利用でき、回路規模、ソフトウェア量などが少ない構成で実現することができる。

（５） 光学的投影装置を使って、所定の範囲を照明するステップと、
上記照明された所定の範囲を撮影するステップと、
上記撮影した画像上で、所定の特徴画像箇所を検出するステップと、
上記所定の特徴画像箇所に直接又は間接に関連付けられた関連情報を、上記光学的投影装置を使って投影するステップと、
を具備することを特徴とする情報呈示方法。

（対応する実施形態）
この（５）に記載の情報呈示方法に関する実施形態は、第１及び第２実施形態が対応する。

（作用効果）
この（５）に記載の情報呈示方法は、光学的投影装置を使って、所定の範囲を照明し、その照明された所定の範囲を撮影した画像上で、所定の特徴画像箇所を検出して、その所定の特徴画像箇所に直接又は間接に関連付けられた関連情報を、上記光学的投影装置を使って投影する。

従って、この（５）に記載の情報呈示方法によれば、照明が十分にない場所でもライトなどの照明を用いることなく、マーカ等の特徴画像箇所を検出して、該特徴画像箇所に関連付けられた関連情報を、多数の作業者等の多数のユーザが同時且つ良好に確認できるように呈示可能となる。

図１は、本発明の第１実施形態に係る情報呈示装置の構成を示す図である。 図２は、第１実施形態に係る情報呈示装置の動作フローチャートを示す図である。 図３（Ａ）は、実空間における対象物を示す図、図３（Ｂ）は、関連情報生成部から生成される関連情報を示す図、図３（Ｃ）は、関連情報を実空間に投影した状態を示す図、図３（Ｄ）は、本発明の第２実施形態に係る情報呈示装置における色温度制御部で変形された関連情報を示す図であり、図３（Ｅ）は、図３（Ｄ）の関連情報を実空間に投影した状態を示す図である。

符号の説明

１０…画像入力部、 １２…マーカ検出部、 １４…位置姿勢検出部、 １６…マーカ情報格納部、 １８…関連情報生成部、 ２０…関連情報格納部、 ２２…色温度制御部、 ２４…投影部、 ２６…マーカ、 ２８…関連情報の画像、 ２８Ａ…３次元モデル、 ２８Ｂ…アノテーション情報、 ３０…対象物。

Claims (5)

1. 所定の撮影範囲を撮影する撮影手段と、
   上記撮影手段が撮影した画像上で、所定の特徴画像箇所を検出する検出手段と、
   上記検出手段が検出した特徴画像箇所に直接又は間接に関連付けられた関連情報を光学的に投影する投影手段と、
   少なくとも上記投影手段が上記関連情報を投影していない期間において、上記投影手段が上記撮像手段の撮像範囲を照明する照明光を照射するように制御する制御手段と、
   を具備することを特徴とする情報呈示装置。
2. 上記投影手段が照射する照明光は、その色温度が一定になるように制御されていることを特徴とする請求項１に記載の情報呈示装置。
3. 上記色温度は、照明光が白色になるように制御されていることを特徴とする請求項２に記載の情報呈示装置。
4. 上記特徴画像箇所は、マーカであることを特徴とする請求項１に記載の情報呈示装置。
5. 光学的投影装置を使って、所定の範囲を照明するステップと、
   上記照明された所定の範囲を撮影するステップと、
   上記撮影した画像上で、所定の特徴画像箇所を検出するステップと、
   上記所定の特徴画像箇所に直接又は間接に関連付けられた関連情報を、上記光学的投影装置を使って投影するステップと、
   を具備することを特徴とする情報呈示方法。

Images