JP2006189712A - 情報提示装置、情報提示方法及びプログラム - Google Patents
情報提示装置、情報提示方法及びプログラム Download PDFInfo
- Publication number
- JP2006189712A JP2006189712A JP2005002732A JP2005002732A JP2006189712A JP 2006189712 A JP2006189712 A JP 2006189712A JP 2005002732 A JP2005002732 A JP 2005002732A JP 2005002732 A JP2005002732 A JP 2005002732A JP 2006189712 A JP2006189712 A JP 2006189712A
- Authority
- JP
- Japan
- Prior art keywords
- information
- work
- work space
- image
- detected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 34
- 238000001514 detection method Methods 0.000 claims description 30
- 238000003384 imaging method Methods 0.000 claims description 18
- 230000000295 complement effect Effects 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 21
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000000470 constituent Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000004886 process control Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
【課題】作業対象物に関する情報を明瞭に提示することを可能にする。
【解決手段】パターン生成部20により格子模様パターン画像を生成し、生成された格子模様パターン画像をパターン記憶部19に記憶すると共に、第2のプロジェクタ17により作業エリアに向けて投影させる。この投影された格子模様パターン画像を赤外線カメラ10により撮像させ、画像処理部13において、撮像された格子模様パターン画像と、生成された元の格子模様パターン画像とを照合して平面領域を抽出する。そして、抽出された平面領域のうち最大かつ正方形に近い平面領域を検出し、第1のプロジェクタ6により提示情報29を上記検出された平面領域に向けて投影させる。
【選択図】 図1
【解決手段】パターン生成部20により格子模様パターン画像を生成し、生成された格子模様パターン画像をパターン記憶部19に記憶すると共に、第2のプロジェクタ17により作業エリアに向けて投影させる。この投影された格子模様パターン画像を赤外線カメラ10により撮像させ、画像処理部13において、撮像された格子模様パターン画像と、生成された元の格子模様パターン画像とを照合して平面領域を抽出する。そして、抽出された平面領域のうち最大かつ正方形に近い平面領域を検出し、第1のプロジェクタ6により提示情報29を上記検出された平面領域に向けて投影させる。
【選択図】 図1
Description
この発明は、例えば現場作業員の作業を遠隔地から通信ネットワークを使用して支援する遠隔作業支援システムにおいて、現場で作業者に情報を提示するために使用される情報提示装置、情報提示方法及びプログラムに関する。
遠隔作業支援システムでは、作業指示者が音声と画像を利用して現場作業者と協調しながら作業を効率的に進めることが必要である。この際、音声指示と同時に現場作業者に作業の手順書や見本画像を提示することは重要である。特に、提示情報を作業対象物が存在する実空間に提示できれば作業の効率化に寄与できる。
そこで、例えば、プロジェクタにより投影された画像において、ユーザが指し示す作業対象物をリアルタイムで認識し、その作業対象物に関連付けられた所定のアクションを実行するようにした映像表示装置が提案されている(例えば、特許文献1を参照。)。これにより、作業の手順書や見本画像をプロジェクタで投影しておき、作業者が投影画像中の作業対象物を指し示すことで、予めその作業対象物に関連付けられている作業遂行に有用な詳細情報を提示することができる。
しかしながら、一般に作業現場の環境は整備されていないことが多いため、上記従来の映像表示装置を用いて作業対象物付近に画像を投影した場合、作業対象物或いはその周辺に存在する物とプロジェクタにより投影された画像とが重畳される。このため、投影画像に歪みが生じる等により視認性が悪くなり、作業効率の低下を招くおそれがある。
この発明は上記事情に着目してなされたもので、その目的とするところは、作業対象物に関する情報を明瞭に提示することを可能にする情報提示装置、情報提示方法及びプログラムを提供することである。
上記目的を達成するためにこの発明に係わる情報提示装置、情報提示方法及びプログラムは、撮像手段と、第1及び第2の投影手段にそれぞれ接続され、作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する情報提示装置であって、上記作業空間に対し、当該作業空間の平面度を検出するための検出光を上記第2の投影手段に投影させる手段と、上記検出光が投影された状態で上記作業空間の画像を上記撮像手段に撮像させる手段とを備える。そして、上記撮像手段により得られる作業空間の画像データをもとに、上記作業空間における平面領域を検出して、検出された平面領域に向け、上記作業対象物に関する情報を上記第1の投影手段に投影させるようにしたものである。
したがって、この発明によれば、作業対象物に関する情報を明瞭に提示することが可能となる。これにより、例えば、プロジェクタで投影される作業手順書や作業の見本画像の視認性が向上されるため、作業の効率化を図ることができる。
したがって、この発明によれば、作業対象物に関する情報を明瞭に提示することが可能となる。これにより、例えば、プロジェクタで投影される作業手順書や作業の見本画像の視認性が向上されるため、作業の効率化を図ることができる。
また、この発明は次のような各種構成を備えることも特徴とする。
第1の構成は、上記検出光を上記第2の投影手段に投影させる手段は、赤外線からなる検出光を上記第2の投影手段に投影させ、上記画像を上記撮像手段に撮像させる手段は、上記赤外線からなる検出光が投影された状態で上記作業空間の赤外線画像を上記撮像手段に撮像させるようにする。これにより、平面度を検出するための検出光は、作業者に認識されることがないため、作業空間の視認性を損なうことなく、作業対象物に関する情報を明瞭に提示することが可能となる。
第1の構成は、上記検出光を上記第2の投影手段に投影させる手段は、赤外線からなる検出光を上記第2の投影手段に投影させ、上記画像を上記撮像手段に撮像させる手段は、上記赤外線からなる検出光が投影された状態で上記作業空間の赤外線画像を上記撮像手段に撮像させるようにする。これにより、平面度を検出するための検出光は、作業者に認識されることがないため、作業空間の視認性を損なうことなく、作業対象物に関する情報を明瞭に提示することが可能となる。
第2の構成は、上記検出光を上記第2の投影手段に投影させる手段は、検出光として格子状パターンの光学像を上記第2の投影手段に投影させるようにする。このように構成すると、パターン・マッチング等の簡単な画像解析アルゴリズムにより実現できるため、平面領域の検出に要する処理の負担が軽減される。
第3の構成は、撮像手段及び投影手段にそれぞれ接続され、作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する情報提示装置であって、上記作業空間の画像を上記撮像手段に撮像させて得られる上記作業空間の画像データをもとに、上記作業空間内で作業者が指定する平面領域を検出する。この検出された平面領域に向け、上記作業対象物に関する情報を上記投影手段に投影させる。このように構成することにより、作業者が指定する任意の平面領域に作業対象物に関する情報を明瞭に提示することが可能となる。
第4の構成は、上記検出された平面領域の色情報を検出し、検出された色情報に対する補色情報を求める。そして、上記作業対象物に関する情報を投影させる手段は、上記検出された平面領域に向け、上記求められた補色情報を用いて上記作業対象物に関する情報を投影させるようにしたものである。このようにすると、検出された平面領域の色合いに左右されることなく、作業対象物に関する情報をさらに明瞭に提示することが可能となる。
要するにこの発明によれば、作業対象物に関する情報を明瞭に提示することを可能にする情報提示装置、情報提示方法及びプログラムを提供することにある。
(第1の実施形態)
図1は、この発明の第1の実施形態に係わる情報提示装置を備えた遠隔作業支援システムを示す構成図である。この遠隔作業支援システムは、情報提示装置100と、情報設定装置200と、設定情報DB25とを、通信ネットワークNWを介して接続可能としたものである。
通信ネットワークNWは、システムが例えば事業所内又はオフィス内に構築される場合であればLAN(Local Area Network)により構成される。一方、システムが複数の事業所やオフィスに跨って構成される場合には、インターネットに代表されるコンピュータ・ネットワークから構成される。また、設定情報DB25には、遠隔指示者により情報設定装置200から入力された作業に関する詳細情報が記憶されている。
図1は、この発明の第1の実施形態に係わる情報提示装置を備えた遠隔作業支援システムを示す構成図である。この遠隔作業支援システムは、情報提示装置100と、情報設定装置200と、設定情報DB25とを、通信ネットワークNWを介して接続可能としたものである。
通信ネットワークNWは、システムが例えば事業所内又はオフィス内に構築される場合であればLAN(Local Area Network)により構成される。一方、システムが複数の事業所やオフィスに跨って構成される場合には、インターネットに代表されるコンピュータ・ネットワークから構成される。また、設定情報DB25には、遠隔指示者により情報設定装置200から入力された作業に関する詳細情報が記憶されている。
情報提示装置100は、現場作業者がいる作業現場に設置され、情報提示部2と、情報提示領域検出部11とを備える。また、情報提示装置100には、カメラ1と、第1のプロジェクタ6と、赤外線カメラ10と、第2のプロジェクタ17とがそれぞれ接続されている。カメラ1は、作業対象物26を含む作業エリアを撮像し、第1のプロジェクタ6は、作業対象物26に関連する詳細情報が存在することを示す投影対象物27を表示している。なお、図1に示すように、カメラ1及び赤外線カメラ10の撮像範囲と、第1のプロジェクタ6及び第2のプロジェクタ17の投影範囲が一致するように調整されているものとする。
情報提示部2は、画像記憶部3と、画像処理部4と、画像送信部5と、表示・処理制御部7と、データ変換部8と、DB検索部9とを備える。画像記憶部3は、カメラ1から入力される作業対象物26を含む作業エリアを撮像した画像データを記憶する。画像処理部4は、作業者によりレーザポインタ等の指示具28を用いて指定された投影対象物27を識別する。すなわち、画像記憶部3に記憶された画像データから指定された投影対象物27の座標を画像処理により検出する。また、画像送信部5は、画像記憶部3に記憶された画像データを通信ネットワークNWを介して情報設定装置200に向け送信する。
DB検索部9は、上記画像処理部4により識別された投影対象物27に関する詳細情報を設定情報DB25にアクセスして取得する。データ変換部8は、上記取得された詳細情報を後述する情報提示領域検出部11により検出される提示領域に合わせて位置やサイズを変換して投影画像データを作成する。表示・処理制御部7は、データ変換部8において作成された投影画像データを第1のプロジェクタ6に出力し、この投影画像データをもとに第1のプロジェクタ6は提示情報29を作業エリアに投影する。
一方、情報提示領域検出部11は、画像記憶部12と、画像処理部13と、表示・処理制御部18と、パターン記憶部19と、パターン生成部20とを備える。パターン生成部20は、情報提示領域を検出するために作業エリアを包含する格子模様パターンを生成する。パターン記憶部19は、パターン生成部20において生成された格子模様パターンを記憶する。表示・処理制御部18は、パターン記憶部19に記憶された格子模様パターンを第2のプロジェクタ17に出力する。
第2のプロジェクタ17は、可視光成分と赤外線成分とを含む光を発光する光源を内蔵し、上記パターン生成部20において生成された格子模様パターンデータをもとに、上記光源から光の格子模様パターンを発光させる。なお、第2のプロジェクタ17の投影口には赤外線フィルタ16が配設されている。この赤外線フィルタ16は、上記第2のプロジェクタ17から発光された光の波長成分のうち、可視光成分を遮断して赤外線成分のみを透過する。このように構成することで、作業エリアに対し赤外線の格子模様パターンが投影される。図2に赤外線の格子模様パターンが投影される様子を示す。
また、画像記憶部12は、赤外線カメラ10により撮像された画像を記憶するために設けられる。画像処理部13は、画像照合部14と領域検出部13とを備え、処理内容を表示する領域を検出する。すなわち、画像照合部14は、生成された格子模様パターンと画像記憶部12に記憶される撮像された格子模様パターンとを照合し、領域検出部13により、上記照合された結果により表示領域を検出する。
一方、遠隔指示者が使用する情報設定装置200は、画像受信部22と、表示部23と、データ入力部24と、DB入力部21とを備える。画像受信部22は、情報提示装置100から通信ネットワークNWを介して送られる画像データを受信する。表示部23は、液晶表示器(LCD)などで構成され、上記受信された画像データを表示する。データ入力部24は、図示しないキーボードやマウス等の入力装置を備え、遠隔指示者によりこれらの入力装置を用いて入力されるデータを受け付ける。データ入力部24により入力された作業に関する詳細情報などのデータは、DB入力部21により設定情報DB25に格納される。
次に、以上のように構成された情報提示装置100の動作について説明する。図4は、情報提示装置100における情報提示動作の処理手順とその処理内容を示すフローチャートである。これに先立ち、現場作業者は、指示具28を用いて投影対象物27に関連付けられている詳細情報、例えば、作業手順に関するテキスト情報や映像情報を提示させる操作を行ったものとする。
はじめに、ステップS4aにおいて、情報提示装置100のパターン生成部20は、格子模様パターンを生成してパターン記憶部19に記憶させておくと共に、ステップS4bにおいて、上記生成された格子模様パターンを表示・処理制御部18により第2のプロジェクタ17に出力する。この第2のプロジェクタ17の投影口には、赤外線フィルタが設けられているため、赤外線成分のみで格子模様パターンが投影される。この格子模様パターンは、赤外線フィルタにより可視光が遮断され赤外線成分のみが通過するため、現場作業者には不可視である。図2に投影された格子模様パターンの例を示す。ステップS4cにおいて、赤外線カメラ10により上記投影された格子模様パターンを撮像し、撮像された画像をステップS4dにより画像記憶部12に記憶する。
次に、ステップS4eにおいて、画像処理部13の画像照合部14においてパターン記憶部19に記憶された元の格子模様パターンと画像記憶部12に記憶された撮像された格子模様パターンとの照合を行う。図3に赤外線カメラ10により撮像された格子模様パターンの例を示す。同図において、例えば、作業対象物26がある領域、すなわち凹凸が存在する領域は、格子模様が変形して撮像される。これに対して、凹凸がない平面領域は、元の格子模様パターンと同じく格子を成して撮像される。ここでは、投影対象物27に関連付けられた詳細情報を表す提示情報29を第1のプロジェクタ6により明瞭に投影させるために平面領域の検出を行う。
ステップS4fにおいて、格子模様の形状が一致する画面座標値を計算し、ステップS4gにおいて、上記計算された画面座標値に基づいて四角形領域を抽出する。そして、ステップS4hにおいて、抽出された四角形領域が複数存在するか否かの判定を行う。この判定により抽出された四角形領域が複数存在する場合は、ステップS4iに移行して抽出された四角形領域の中から最大面積で縦横比が1に最も近い四角形領域を検出し、検出された四角形領域の対角の座標値を記憶する。一方、ステップS4hの判定において、四角形領域が1つのみの場合は、その対角の座標値を記憶する。
ステップS4jにおいて、DB検索部9により設定情報DB25にアクセスして、現場作業者が指示した投影対象物27に関連付けられている詳細情報及び表示位置を検索する。そして、データ変換部8において、ステップS4kにより、検索された表示位置を上記検出された四角形領域の座標値に変換し、さらにステップS4lにおいて提示する詳細情報のコンテンツを検出された四角形領域に合わせて拡大・縮小変換して提示情報29を作成する。表示・処理制御部7は、ステップS4mにおいて、作成された提示情報29を第1のプロジェクタ6に出力する。かくして、第1のプロジェクタ6により上記検出された四角形領域に投影対象物27に関連付けられた提示情報29が投影される。
以上述べたように第1の実施形態に係わる情報提示装置1は、パターン生成部20により格子模様パターン画像を生成し、生成された格子模様パターン画像をパターン記憶部19に記憶すると共に、第2のプロジェクタ17により作業エリアに向けて投影させる。この投影された格子模様パターン画像を赤外線カメラ10により撮像させ、画像処理部13において、撮像された格子模様パターン画像と、生成された元の格子模様パターン画像とを照合して平面領域を抽出する。そして、抽出された平面領域のうち最大かつ正方形に近い平面領域を検出し、第1のプロジェクタ6により提示情報29を上記検出された平面領域に向けて投影させるようにしたものである。
したがって第1の実施形態によれば、情報提示装置1は、作業エリアに存在する平面領域を検出し、検出された平面領域に向けて提示情報29を投影させる。これにより、例えば、作業手順書や作業の見本画像などが明瞭に表示されるため、作業の効率化を図ることができる。
なお、上記第1の実施形態では、複数の平面領域が抽出された場合に、抽出された平面領域のうち最大かつ正方形に近い平面領域を検出するように構成したが、提示情報29の画像の形状に合わせて平面領域を検出するようにしてもよい。また、抽出された複数の平面領域から投影対象物27に近接する平面領域を検出して、この検出された平面領域に提示情報29を投影させるようにしてもよい。このようにすると、投影対象物27と提示情報29との関連性を作業者に認識させることができる。
また、平面領域の検出のために格子模様パターンを用いたが、平面領域の検出が可能であれば、格子模様パターンに限らず、線状パターンまたは円形パターン或いはそれらを組み合わせた他のパターン画像を利用してもよい。また、平面領域の検出方法として、パターン・マッチングによる検出方法の他にも、撮像された画像に含まれる影(濃淡)や色の変化、光の屈折による変形などを利用することも可能である。
(第2の実施形態)
図5は、この発明の第2の実施形態に係わる情報提示装置を備えた遠隔作業支援システムを示す構成図である。なお、この図は、上記第1の実施形態における情報提示装置100における情報提示部2の他の構成例を示すものであり、同図において前記図1と同一部分には同一符号を付して詳しい説明は省略する。
情報提示装置100Aの情報提示部2Aは、色画素平均値演算部32と補色画素値演算部33とを新たに備える。色画素平均値演算部32は、情報提示領域検出部11により検出された平面領域における色画素の平均値を算出する。補色画素値演算部33は、上記色画素平均値演算部32により算出された色画素の平均値に対する補色画素値を算出する。
図5は、この発明の第2の実施形態に係わる情報提示装置を備えた遠隔作業支援システムを示す構成図である。なお、この図は、上記第1の実施形態における情報提示装置100における情報提示部2の他の構成例を示すものであり、同図において前記図1と同一部分には同一符号を付して詳しい説明は省略する。
情報提示装置100Aの情報提示部2Aは、色画素平均値演算部32と補色画素値演算部33とを新たに備える。色画素平均値演算部32は、情報提示領域検出部11により検出された平面領域における色画素の平均値を算出する。補色画素値演算部33は、上記色画素平均値演算部32により算出された色画素の平均値に対する補色画素値を算出する。
このように構成された情報提示装置100Aの動作について説明する。図6は、情報提示装置100Aにおける情報提示動作の処理手順とその処理内容を示すフローチャートである。これに先立ち、現場作業者は、指示具28を用いて投影対象物27に関連付けられている詳細情報、ここでは、テキスト情報を提示させる操作を行ったものとする。そうすると、上記第1の実施形態と同様に、情報提示装置100Aは、図4のフローチャートにおけるステップS4aからステップS4iの処理を行い、詳細情報を表示するための平面領域を検出する。
次に、情報提示装置100Aは、図6におけるステップS6aにおいて、色画素平均値演算部32により上記検出された平面領域のカラー画素値の平均値を求める。続いてステップS6bにおいて、補色画素値演算部33により上記求められた平面領域のカラー画素値の平均値に対する補色画素値を算出する。そして、ステップS6cにおいて、DB検索部9により設定情報DB25にアクセスして、現場作業者が指定した投影対象物27に関連付けられている詳細情報(テキスト情報)及び表示位置を検索する。またステップS6dにより、データ変換部8において、検索された表示位置を検出された平面領域の座標値に変換する。
さらに、ステップS6eにおいて、上記ステップS6cにおいて検索されたテキスト情報をステップS6bにおいて算出された補色画素値をもとにフォント色を変換して提示情報29を作成する。ステップS4fにおいて、表示・処理制御部7は、このフォント色が変換された提示情報29を第1のプロジェクタ6に出力する。かくして、第1のプロジェクタ6により上記検出された平面領域に向けて上記フォント色が変換された提示情報29が投影される。
第2の実施形態に係わる情報提示装置100Aは、情報提示部2Aに色画素平均値演算部32と、補色画素値演算部33とを新たに備える。そして、検出された平面領域のカラー画素値の平均値を色画素平均値演算部32により求め、さらに補色画素値演算部33において上記求められた平面領域のカラー画素値の平均値に対する補色画素値を算出する。この算出された補色画素値をもとに投影対象物27に関連付けられているテキスト情報である提示情報29のフォント色を変換する。表示・処理制御部7は、上記フォント色が変換された提示情報29を検出された平面領域に向けて投影させるようにしたものである。
このような構成であるから、例えば、検出された平面領域が黒色である場合には、提示されるテキスト情報はフォント色が白色に変換されて投影される。このため、平面領域の色合いに関わらず、作業対象物に関する詳細情報をさらに明瞭に提示させることが可能となる。
(第3の実施形態)
図7は、この発明の第3の実施形態に係わる情報提示装置を備えた遠隔作業支援システムを示す構成図である。なお、同図において前記図1と同一部分には同一符号を付して詳しい説明は省略する。
情報提示装置100Bの画像処理部4Bは、差分画像演算部34と、特徴領域抽出部35と、位置判定部36と、特徴領域演算部37と、特徴点数演算部38とを備える。差分画像演算部34は、カメラ1により撮像された画像のフレーム間の差分画像を検出する。特徴領域抽出部35は、上記差分画像演算部34により検出された差分画像から特徴領域を抽出する。位置判定部36は、特徴領域から特徴点を抽出し、抽出された特徴点の位置を求める。特徴点数演算部38は、特徴領域抽出部35により抽出された特徴点の数を演算する。特徴領域演算部37は、特徴点の数から領域を求める。
図7は、この発明の第3の実施形態に係わる情報提示装置を備えた遠隔作業支援システムを示す構成図である。なお、同図において前記図1と同一部分には同一符号を付して詳しい説明は省略する。
情報提示装置100Bの画像処理部4Bは、差分画像演算部34と、特徴領域抽出部35と、位置判定部36と、特徴領域演算部37と、特徴点数演算部38とを備える。差分画像演算部34は、カメラ1により撮像された画像のフレーム間の差分画像を検出する。特徴領域抽出部35は、上記差分画像演算部34により検出された差分画像から特徴領域を抽出する。位置判定部36は、特徴領域から特徴点を抽出し、抽出された特徴点の位置を求める。特徴点数演算部38は、特徴領域抽出部35により抽出された特徴点の数を演算する。特徴領域演算部37は、特徴点の数から領域を求める。
このように構成された情報提示装置100Bの動作について説明する。図8は、情報提示装置100Bにおける情報提示動作の処理手順とその処理内容を示すフローチャートである。これに先立ち、現場作業者は、レーザポインタ等の指示具28を用いて作業エリアのうちで平面とみなすことができる領域における対角線の両端の位置をポインティングしたものとする。
そうすると情報提示装置100Bは、ステップS8aにより、差分画像演算部34においてカメラ1から入力された撮像画像のフレーム毎の差分画像を取得し、画像処理により適当な閾値で2値化して特徴領域(ポインティングされた領域)を抽出する。次にステップS8bにおいて、抽出された特徴領域の重心座標を求める。そして、ステップS8cにおいて、求められた重心座標が投影対象物27の領域内にあるか否かを判定する。この判定により、重心座標が投影対象物27の領域内にある場合は、作業者により投影対象物27の詳細情報の提示を指定されたものと認識し、ステップS8dに移行して、提示情報29の表示位置を検索する。
一方、ステップS8cの判定において、重心座標が投影対象物27の領域内に存在しない場合には、ステップS8eに移行して特徴点数演算部38により検出された座標位置の個数が2個に達したか否かを判定する。この判定により、2個に達しない場合は,ステップS8aに移行して特徴点の抽出を行う。ステップS8eの判定において、座標位置の個数が2個に達した場合には、ステップS8fに移行して、2つの座標値を対角線にして四角形領域を求める。そして、DB検索部9により設定情報DB25にアクセスして、現場作業者が指示した投影対象物27に関連付けられている詳細情報及び表示位置を検索する。
次に、ステップS8gにおいて、検索された表示位置を上記検出された四角形領域の座標値に変換し、さらにステップS8hにおいて提示する詳細情報のコンテンツを検出された四角形領域に合わせて拡大・縮小変換して提示情報29を作成する。このようにして作成された提示情報29は、ステップS8iにおいて、表示・処理制御部7により第1のプロジェクタ6に出力されて、第1のプロジェクタ6により上記検出された四角形領域に向けて投影対象物27に関連付けられた提示情報29が投影される。
このように第3の実施形態に関わる情報提示装置100Bは、情報提示部2Bの画像処理部4Bにおいて、現場作業者によって指定された平面領域を検出する。そして、この検出された平面領域に向けて投影対象物27に関連付けられた提示情報29を第1のプロジェクタ6により投影させるようにしたものである。これにより、作業者が指定する任意の平面領域に作業対象物に関する情報を明瞭に提示することが可能となる。
なお、この発明は上記各実施形態に限定されるものではない。この発明の情報提示装置100は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。その他にも、情報提示装置100の機能構成及び各部の処理手順と処理内容についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。
要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲でその構成要素を変形して具体化できる。また、上記各実施形態で開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。
100,100A,100B…情報提示装置、200…情報設定装置、NW…通信ネットワーク、1…カメラ、2,2A,2B…情報提示部、3…画像記憶部、4,4B…画像処理部、5…画像送信部、6…第1のプロジェクタ、7…表示・処理制御部、8…データ変換部、9…DB検索部、10…赤外線カメラ、11…情報提示領域検出部、12…画像記憶部、13…画像処理部、14…画像照合部、15…領域検出部、16…赤外線フィルタ、17…第2のプロジェクタ、18…表示・処理制御部、19…パターン記憶部、20…パターン生成部、21…情報設定部、22…画像受信部、23…表示部、24…データ入力部、25…設定情報DB、26…作業対象物、27…投影対象物、28…指示具、29…提示情報、32…色画素平均値演算部、33…補色画素値演算部、34…差分画像演算部、35…特徴領域抽出部、36…位置判定部、37…特徴領域演算部、38…特徴点数演算部。
Claims (10)
- 撮像手段と、第1及び第2の投影手段にそれぞれ接続され、作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する情報提示装置であって、
前記作業空間に対し、当該作業空間の平面度を検出するための検出光を前記第2の投影手段に投影させる手段と、
前記検出光が投影された状態で前記作業空間の画像を前記撮像手段に撮像させる手段と、
前記撮像手段により得られる作業空間の画像データをもとに、前記作業空間における平面領域を検出する手段と、
前記検出された平面領域に向け、前記作業対象物に関する情報を前記第1の投影手段に投影させる手段と
を具備することを特徴とする情報提示装置。 - 前記検出光を前記第2の投影手段に投影させる手段は、赤外線からなる検出光を前記第2の投影手段に投影させ、
前記画像を前記撮像手段に撮像させる手段は、前記赤外線からなる検出光が投影された状態で前記作業空間の赤外線画像を前記撮像手段に撮像させることを特徴とする請求項1記載の情報提示装置。 - 前記検出光を前記第2の投影手段に投影させる手段は、検出光として格子状パターンの光学像を前記第2の投影手段に投影させることを特徴とする請求項1又は2記載の情報提示装置。
- 撮像手段及び投影手段にそれぞれ接続され、作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する情報提示装置であって、
前記作業空間の画像を前記撮像手段に撮像させる手段と、
前記撮像手段により得られる前記作業空間の画像データをもとに、前記作業空間内で作業者が指定する平面領域を検出する手段と、
前記検出された平面領域に向け、前記作業対象物に関する情報を前記投影手段に投影させる手段と
を具備することを特徴とする情報提示装置。 - 前記検出された平面領域の色情報を検出する手段と、
前記検出された色情報に対する補色情報を求める手段と
をさらに具備し、
前記作業対象物に関する情報を投影させる手段は、前記検出された平面領域に向け、前記求められた補色情報を用いて前記作業対象物に関する情報を投影させることを特徴とする請求項1又は4記載の情報提示装置。 - 作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する情報提示方法であって、
前記作業空間に対し当該作業空間の平面度を検出するための検出光を投影する工程と、
前記検出光が投影された状態で前記作業空間の画像を撮像する工程と、
前記撮像により得られる作業空間の画像データをもとに、前記作業空間における平面領域を検出する工程と、
前記検出された平面領域に向け、前記作業対象物に関する情報を投影する工程と
を具備することを特徴とする情報提示方法。 - 作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する情報提示方法であって、
前記作業空間の画像を撮像する工程と、
前記撮像により得られる前記作業空間の画像データをもとに、前記作業空間内で作業者が指定する平面領域を検出する工程と、
前記検出された平面領域に向け、前記作業対象物に関する情報を投影する工程と
を具備することを特徴とする情報提示方法。 - 前記検出された平面領域の色情報を検出する工程と、
前記検出された色情報に対する補色情報を求める工程と
をさらに具備し、
前記作業対象物に関する情報を投影する工程は、前記検出された平面領域に向け、前記求められた補色情報を用いて前記作業対象物に関する情報を投影することを特徴とする請求項6又は7記載の情報提示方法。 - 撮像手段と、第1及び第2の投影手段にそれぞれ接続され、作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する、コンピュータを備えた情報提示装置で使用されるプログラムであって、
前記作業空間に対し、当該作業空間の平面度を検出するための検出光を前記第2の投影手段に投影させる処理と、
前記検出光が投影された状態で、前記作業空間の画像を前記撮像手段に撮像させる処理と、
前記撮像手段により得られる作業空間の画像データをもとに、前記作業空間における平面領域を検出する処理と、
前記検出された平面領域に向け、前記作業対象物に関する情報を前記第1の投影手段に投影させる処理と
を、前記コンピュータに実行させることを特徴とするプログラム。 - 撮像手段と、第1及び第2の投影手段にそれぞれ接続され、作業者及び作業対象物が存在する作業空間に当該作業対象物に関する情報を提示する、コンピュータを備えた情報提示装置で使用されるプログラムであって、
前記作業空間の画像を前記撮像手段に撮像させる処理と、
前記撮像手段により得られる前記作業空間の画像データをもとに、前記作業空間内で作業者が指定する平面領域を検出する処理と、
前記検出された平面領域に向け、前記作業対象物に関する情報を前記投影手段に投影させる処理と
を前記コンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005002732A JP2006189712A (ja) | 2005-01-07 | 2005-01-07 | 情報提示装置、情報提示方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005002732A JP2006189712A (ja) | 2005-01-07 | 2005-01-07 | 情報提示装置、情報提示方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006189712A true JP2006189712A (ja) | 2006-07-20 |
Family
ID=36796979
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005002732A Pending JP2006189712A (ja) | 2005-01-07 | 2005-01-07 | 情報提示装置、情報提示方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006189712A (ja) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006259627A (ja) * | 2005-03-18 | 2006-09-28 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理装置及び画像処理方法とそのプログラム |
JP2008033049A (ja) * | 2006-07-28 | 2008-02-14 | Ricoh Co Ltd | 対象物指示装置 |
JP2009175060A (ja) * | 2008-01-25 | 2009-08-06 | Fuji Xerox Co Ltd | 指示システム、指示プログラム及び指示装置 |
JP2010020215A (ja) * | 2008-07-14 | 2010-01-28 | Sony Computer Entertainment Inc | 画像投影装置、その制御方法、プログラム及び情報記憶媒体 |
JP2011211693A (ja) * | 2010-03-03 | 2011-10-20 | Christie Digital Systems Usa Inc | 非可視光を用いた投影システムの自動較正 |
JP2012255883A (ja) * | 2011-06-08 | 2012-12-27 | Konica Minolta Advanced Layers Inc | 映像投影システム |
JP2013148868A (ja) * | 2011-12-21 | 2013-08-01 | Ricoh Co Ltd | 画像投影装置、画像処理装置、画像処理方法およびプログラム |
CN103703763A (zh) * | 2011-07-29 | 2014-04-02 | 惠普发展公司,有限责任合伙企业 | 视觉分层的系统和方法 |
US9710109B2 (en) | 2014-05-01 | 2017-07-18 | Fujitsu Limited | Image processing device and image processing method |
US9762872B2 (en) | 2015-10-08 | 2017-09-12 | Fujitsu Limited | Apparatus, method and non-transitory computer-readable storage medium |
WO2017208739A1 (en) * | 2016-05-30 | 2017-12-07 | Panasonic Intellectual Property Management Co., Ltd. | Image projection system and image projection method |
EP3273685A4 (en) * | 2016-06-08 | 2018-01-24 | Panasonic Intellectual Property Management Co., Ltd. | Projection system |
US9912922B2 (en) | 2016-06-08 | 2018-03-06 | Panasonic Intellectual Property Co., Ltd. | Projection system |
JP2019139030A (ja) * | 2018-02-08 | 2019-08-22 | 国立大学法人福井大学 | 3次元計測対象物体の表面に計測結果関連情報を投影する方法および装置 |
US10417801B2 (en) | 2014-11-13 | 2019-09-17 | Hewlett-Packard Development Company, L.P. | Image projection |
JP2021021810A (ja) * | 2019-07-26 | 2021-02-18 | sPods株式会社 | 投影システム、表示制御装置、投影方法 |
JP2021067906A (ja) * | 2019-10-28 | 2021-04-30 | セイコーエプソン株式会社 | プロジェクターの制御方法及びプロジェクター |
US11800073B2 (en) | 2020-10-22 | 2023-10-24 | Seiko Epson Corporation | Setting support method, setting support system for projection region, and non-transitory computer-readable storage medium storing a program |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0886615A (ja) * | 1994-09-19 | 1996-04-02 | Mitsubishi Electric Corp | 映像表示装置及び映像表示システム |
JP2000352761A (ja) * | 1999-06-10 | 2000-12-19 | Sony Corp | 映像投射装置及び方法並びに映像投射制御装置 |
JP2001061121A (ja) * | 1999-08-23 | 2001-03-06 | Nec Corp | プロジェクタ装置 |
JP2001320725A (ja) * | 2000-05-08 | 2001-11-16 | Seiko Epson Corp | 環境適応型の画像表示システム、プレゼンテーションシステム、画像処理方法および情報記憶媒体 |
JP2002296673A (ja) * | 2001-03-29 | 2002-10-09 | Ricoh Co Ltd | 画像投影装置 |
JP2003084746A (ja) * | 2001-09-11 | 2003-03-19 | Nec Viewtechnology Ltd | プレゼンテーションシステム |
JP2003270719A (ja) * | 2002-03-13 | 2003-09-25 | Osaka Industrial Promotion Organization | 投影方法、投影装置、作業支援方法及び作業支援システム |
JP2004048695A (ja) * | 2002-05-20 | 2004-02-12 | Seiko Epson Corp | 投写型画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像投写方法 |
JP2004151435A (ja) * | 2002-10-31 | 2004-05-27 | Nippon Telegr & Teleph Corp <Ntt> | プロジェクション制御方法,プロジェクション制御装置,プロジェクションシステム,プロジェクション制御プログラムおよびプロジェクション制御プログラムを記録した記録媒体 |
JP2004347488A (ja) * | 2003-05-23 | 2004-12-09 | Mitsubishi Electric Corp | 現場作業支援装置 |
JP2006121231A (ja) * | 2004-10-19 | 2006-05-11 | Olympus Corp | プロジェクタ |
-
2005
- 2005-01-07 JP JP2005002732A patent/JP2006189712A/ja active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0886615A (ja) * | 1994-09-19 | 1996-04-02 | Mitsubishi Electric Corp | 映像表示装置及び映像表示システム |
JP2000352761A (ja) * | 1999-06-10 | 2000-12-19 | Sony Corp | 映像投射装置及び方法並びに映像投射制御装置 |
JP2001061121A (ja) * | 1999-08-23 | 2001-03-06 | Nec Corp | プロジェクタ装置 |
JP2001320725A (ja) * | 2000-05-08 | 2001-11-16 | Seiko Epson Corp | 環境適応型の画像表示システム、プレゼンテーションシステム、画像処理方法および情報記憶媒体 |
JP2002296673A (ja) * | 2001-03-29 | 2002-10-09 | Ricoh Co Ltd | 画像投影装置 |
JP2003084746A (ja) * | 2001-09-11 | 2003-03-19 | Nec Viewtechnology Ltd | プレゼンテーションシステム |
JP2003270719A (ja) * | 2002-03-13 | 2003-09-25 | Osaka Industrial Promotion Organization | 投影方法、投影装置、作業支援方法及び作業支援システム |
JP2004048695A (ja) * | 2002-05-20 | 2004-02-12 | Seiko Epson Corp | 投写型画像表示システム、プロジェクタ、プログラム、情報記憶媒体および画像投写方法 |
JP2004151435A (ja) * | 2002-10-31 | 2004-05-27 | Nippon Telegr & Teleph Corp <Ntt> | プロジェクション制御方法,プロジェクション制御装置,プロジェクションシステム,プロジェクション制御プログラムおよびプロジェクション制御プログラムを記録した記録媒体 |
JP2004347488A (ja) * | 2003-05-23 | 2004-12-09 | Mitsubishi Electric Corp | 現場作業支援装置 |
JP2006121231A (ja) * | 2004-10-19 | 2006-05-11 | Olympus Corp | プロジェクタ |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006259627A (ja) * | 2005-03-18 | 2006-09-28 | Nippon Telegr & Teleph Corp <Ntt> | 画像処理装置及び画像処理方法とそのプログラム |
JP4579730B2 (ja) * | 2005-03-18 | 2010-11-10 | 日本電信電話株式会社 | 画像処理装置及び画像処理方法とそのプログラム |
JP2008033049A (ja) * | 2006-07-28 | 2008-02-14 | Ricoh Co Ltd | 対象物指示装置 |
JP2009175060A (ja) * | 2008-01-25 | 2009-08-06 | Fuji Xerox Co Ltd | 指示システム、指示プログラム及び指示装置 |
JP2010020215A (ja) * | 2008-07-14 | 2010-01-28 | Sony Computer Entertainment Inc | 画像投影装置、その制御方法、プログラム及び情報記憶媒体 |
US8469518B2 (en) | 2008-07-14 | 2013-06-25 | Sony Corporation | Image projection device, control method therefor, and information storage medium |
JP2011211693A (ja) * | 2010-03-03 | 2011-10-20 | Christie Digital Systems Usa Inc | 非可視光を用いた投影システムの自動較正 |
JP2012255883A (ja) * | 2011-06-08 | 2012-12-27 | Konica Minolta Advanced Layers Inc | 映像投影システム |
CN103703763B (zh) * | 2011-07-29 | 2018-02-27 | 惠普发展公司,有限责任合伙企业 | 视觉分层的系统和方法 |
CN103703763A (zh) * | 2011-07-29 | 2014-04-02 | 惠普发展公司,有限责任合伙企业 | 视觉分层的系统和方法 |
JP2014527643A (ja) * | 2011-07-29 | 2014-10-16 | ヒューレット−パッカード デベロップメント カンパニー エル.ピー.Hewlett‐Packard Development Company, L.P. | 視覚的なレイヤリングシステム及びその方法 |
US10229538B2 (en) | 2011-07-29 | 2019-03-12 | Hewlett-Packard Development Company, L.P. | System and method of visual layering |
JP2013148868A (ja) * | 2011-12-21 | 2013-08-01 | Ricoh Co Ltd | 画像投影装置、画像処理装置、画像処理方法およびプログラム |
US9710109B2 (en) | 2014-05-01 | 2017-07-18 | Fujitsu Limited | Image processing device and image processing method |
US10417801B2 (en) | 2014-11-13 | 2019-09-17 | Hewlett-Packard Development Company, L.P. | Image projection |
US9762872B2 (en) | 2015-10-08 | 2017-09-12 | Fujitsu Limited | Apparatus, method and non-transitory computer-readable storage medium |
JP2017215374A (ja) * | 2016-05-30 | 2017-12-07 | パナソニックIpマネジメント株式会社 | 画像投影システムおよび画像投影方法 |
WO2017208739A1 (en) * | 2016-05-30 | 2017-12-07 | Panasonic Intellectual Property Management Co., Ltd. | Image projection system and image projection method |
EP4216541A1 (en) * | 2016-05-30 | 2023-07-26 | Panasonic Intellectual Property Management Co., Ltd. | Image projection system and image projection method |
US9912922B2 (en) | 2016-06-08 | 2018-03-06 | Panasonic Intellectual Property Co., Ltd. | Projection system |
US10136112B2 (en) | 2016-06-08 | 2018-11-20 | Panasonic Intellectual Property Management Co., Ltd. | Projection system |
EP3273685A4 (en) * | 2016-06-08 | 2018-01-24 | Panasonic Intellectual Property Management Co., Ltd. | Projection system |
US10349019B2 (en) | 2016-06-08 | 2019-07-09 | Panasonic Intellectual Property Management Co., Ltd. | Projection system |
US10674124B2 (en) | 2016-06-08 | 2020-06-02 | Panasonic Intellectual Property Management Co., Ltd. | Projection system |
JP2019139030A (ja) * | 2018-02-08 | 2019-08-22 | 国立大学法人福井大学 | 3次元計測対象物体の表面に計測結果関連情報を投影する方法および装置 |
JP2021021810A (ja) * | 2019-07-26 | 2021-02-18 | sPods株式会社 | 投影システム、表示制御装置、投影方法 |
JP2021067906A (ja) * | 2019-10-28 | 2021-04-30 | セイコーエプソン株式会社 | プロジェクターの制御方法及びプロジェクター |
JP7415439B2 (ja) | 2019-10-28 | 2024-01-17 | セイコーエプソン株式会社 | プロジェクターの制御方法及びプロジェクター |
US11800073B2 (en) | 2020-10-22 | 2023-10-24 | Seiko Epson Corporation | Setting support method, setting support system for projection region, and non-transitory computer-readable storage medium storing a program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006189712A (ja) | 情報提示装置、情報提示方法及びプログラム | |
US11200716B2 (en) | Overlay contrast control in augmented reality displays | |
JP3885458B2 (ja) | 投写画像の校正方法及びその装置、並びに機械可読媒体 | |
US11579904B2 (en) | Learning data collection device, learning data collection system, and learning data collection method | |
US10152815B2 (en) | Overlay emphasis modification in augmented reality displays | |
US7377650B2 (en) | Projection of synthetic information | |
US20020136455A1 (en) | System and method for robust foreground and background image data separation for location of objects in front of a controllable display within a camera view | |
JP4694957B2 (ja) | 情報提示装置及び情報提示方法とそのプログラム | |
US20120320220A1 (en) | Apparatus and method for processing image, and computer-readable recording medium | |
KR101360999B1 (ko) | 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기 | |
JP2006245689A (ja) | 情報提示装置、情報提示方法及びプログラム | |
JP2010272078A (ja) | 電子情報ボードシステム、電子情報ボード制御装置およびカーソル制御方法 | |
JP2015179947A (ja) | 撮影動画像に指示画像を同期して重畳する映像指示表示方法、システム、端末、及びプログラム | |
JP6436606B1 (ja) | 医療映像システム | |
JP4478047B2 (ja) | 情報提示装置及び情報提示方法とそのプログラム | |
US20030112415A1 (en) | Apparatus for projection and capture of a display interface | |
US11921024B2 (en) | Airborne particulate density determination using standard user equipment | |
JP3620397B2 (ja) | 指示位置検出システム、プレゼンテーションシステムおよび情報記憶媒体 | |
CN112288774B (zh) | 移动侦测方法、装置、电子设备及存储介质 | |
CN103019473B (zh) | 基于图像传感器的电子白板的干扰点动态屏蔽方法及装置 | |
KR20130064504A (ko) | 영상인식을 이용한 정비 매뉴얼 생성 장치 및 방법 | |
KR102536120B1 (ko) | 피쉬아이 카메라를 이용한 감시 장치 | |
JP6395933B2 (ja) | モニタリング装置 | |
JP6464058B2 (ja) | 画像投影装置、方法、及びプログラム | |
JP2022086662A (ja) | 物体検出装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100401 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100608 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20101019 |