JP2018120264A - 情報表示システム - Google Patents

Abstract

【課題】ワークの視認性に応じて、補助的な情報を現実空間に重畳表示する情報表示システムを提供する。
【解決手段】情報表示システム１００は、ワークを撮影してワークの形状を示すモデルデータを作成するマッピング部１１０、ワークの３Ｄモデルデータに基づいて少なくともワークの一部分の３Ｄモデル画像を生成し、ワークの不可視部分を３Ｄモデル画像で補完する補完部１２０、３Ｄモデル画像をワークの不可視部分に重畳して表示する表示部１４０を有する。
【選択図】図３

Description

本発明は情報表示システムに関し、特にワークの視認性に応じて、補助的な情報を現実空間に重畳表示する情報表示システムに関する。

現実空間に仮想空間の情報を重ね合わせて表示する、ＭｉｘｅｄＲｅａｌｉｔｙ（ＭＲ）技術や、動画像に他の画像等を合成するマッチムーブ技術が知られている。例えば特許文献１には、動画像中の人物顔の動きを自動トラッキングし、顔画像を所望の形状に変形させた画像を合成するシステムが記載されている。特許文献２には、トラッキング技術により広告映像と本編映像とを合成するシステムが記載されている。

特開２００２−２６９５４６号公報 特開２０１２−０１９４３４号公報

一方、工作機械による加工の現場においては、切削油や、保護ドアの汚れたガラス窓等が遮蔽物となり、加工中のワークの様子を目視で確認しづらいという問題がある（図１参照）。例えば、ワークの加工の進行状況、エアーカット（工具の無駄な移動経路）の有無、取り代（工具が切削送りになってから実際にワークに当たるまでの区間）の大きさ、ワークと切粉の関係、工具の先端位置等をできれば目視で確認したいという要望があるが、上述の問題により、現在はこれらを加工中に確認することは困難である。よって、現在は、切削油を一時的に止めたり、保護ドアを僅かに開けて隙間から覗くなどの方法により確認を行っている。しかし、これらの方法では、切削油を止めてから視界が良くなるまでに時間を要することや、安全性がおろそかになることといった問題がある。

そこで、上述のＭＲ技術やマッチムーブ技術等によりこのような問題を解決することが望まれるが、特許文献１及び特許文献２は具体的な解決手段を開示していない。

本発明はこのような問題点を解決するためになされたものであり、ワークの視認性に応じて、補助的な情報を現実空間に重畳表示する情報表示システムを提供することを目的とする。

本発明の一実施の形態にかかる情報表示システムは、ワークを撮影して前記ワークの形状を示すモデルデータを作成するマッピング部と、前記ワークの３Ｄモデルデータに基づいて少なくとも前記ワークの一部分の３Ｄモデル画像を生成し、前記ワークの不可視部分を前記３Ｄモデル画像で補完する補完部と、前記３Ｄモデル画像を前記ワークの不可視部分に重畳して表示する表示部と、を有することを特徴とする。

他の実施の形態にかかる情報表示システムでは、前記モデルデータと前記３Ｄモデル画像とのマッチムーブ処理を行うマッチムーブ部をさらに有することを特徴とする。

他の実施の形態にかかる情報表示システムでは、前記補完部は、前記モデルデータの特徴点と前記３Ｄモデルの特徴点とを照合することにより前記補完を行うことを特徴とする。

他の実施の形態にかかる情報表示システムでは、前記マッピング部は、前記ワーク及び前記ワークの周辺環境のモデルデータを作成し、前記補完部は、前記周辺環境のモデルデータを利用して前記補完を行うことを特徴とする。

本発明によれば、ワークの視認性に応じて、補助的な情報を現実空間に重畳表示する情報表示システムを提供することができる。

従来技術の問題点を示す図である。 情報表示システム１００の一実施例を示す模式図である。 情報表示システム１００の構成を示すブロック図である。 情報表示システム１００の動作を示すフローチャートである。 情報表示システム１００の動作例を示す模式図である。 情報表示システム１００の動作例を示す模式図である。

以下、本発明の実施の形態を図面と共に説明する。
図３は、本発明の実施の形態にかかる情報表示システム１００の構成を示すブロック図である。情報表示システム１００は、マッピング部１１０、補完部１２０、マッチムーブ部１３０、表示部１４０を有する。情報表示システム１００は、典型的には中央処理装置（ＣＰＵ）、記憶装置、及び、撮像装置や表示装置等の入出力装置等を備えた情報処理装置であり、ＣＰＵが所定のプログラムを実行することにより上述の各種処理部を論理的に実現する。例えば、情報表示システム１００は、表示部１４０として動作するディスプレイを備え、ＣＰＵや記憶装置を内蔵したスマートフォン、タブレット端末、ヘッドマウントディスプレイ（ＨＭＤ）等であって良い。あるいは、情報表示システム１００は、ＣＰＵや記憶装置を備えたコンピュータに、表示部１４０として動作するディスプレイやＨＭＤを接続して構成されたものであっても良い。

マッピング部１１０は、現実世界に存在する物体等を撮影して画像を取得し、画像に含まれる物体のモデルデータ、すなわち物体の形状を示すデータを生成する処理を行う。本実施の形態では、加工中のワークの動画像を撮影して、動画像に含まれるワークのモデルデータを作成する。動画像は、例えばＨＭＤに設けられたカメラを用いて撮影される。画像からのモデルデータの作成方法は公知であるため、ここでは詳細な説明を省略する。生成されるモデルデータは、典型的にはワイヤフレームモデルである。あるいは、単に画像から抽出される特徴点の集合であっても良い。

補完部１２０は、マッピング部１１０が生成したモデルデータを、ワークの３Ｄモデルで補完し、表示部１４０に表示させる処理を行う。すなわち、補完部１２０はワークの３Ｄモデルデータ（典型的にはＣＡＤデータやＮＣデータ）を図示しない記憶領域に予め保持しており、この３Ｄモデルデータを、現実のワークに基づいて作成されたモデルデータに重畳させる形でレンダリングする。本実施の形態では、切削油や保護ドア等が遮蔽物となってワークの一部が視認できなくなった場合に、視認できなくなった部分の３Ｄモデルをレンダリングする。

マッチムーブ部１３０は、マッピング部１１０が生成したモデルデータと、補完部１２０が表示する３Ｄモデルとを連動させる処理を行う。すなわち、モデルデータをトラッキングし、３Ｄモデルの表示位置や方向等を調整する。これにより、ワークを捉えるカメラが動いても、補完される３Ｄモデルもワークに追随するため、継続的にワークの状態等を観察することが可能となる。なお、マッチムーブ処理の具体的手順は公知であるため、ここでは詳細な説明を省略する。

表示部１４０は、現実のワークと、補完部１２０が生成する３Ｄモデルとを重畳して視認することができる表示装置である。例えば、表示部１４０はカメラを備えるＨＭＤである（図２参照）。非透過型ＨＭＤこの場合、カメラで捉えた画像が投影面に表示される。透過型ＨＭＤの場合、カメラで捉えた画像に相当する視野を透明の投影面を通して視認できる。マッピング部１１０は、カメラで捉えた画像に基づいてモデルデータを作成するが、このモデルデータは表示部１４０に表示される必要はなく、所定の記憶領域に保持されて補完処理やマッチムーブ処理に利用される。一方、表示部１４０は、補完部１２０がレンダリングする３Ｄモデルは投影面に表示する。これにより、ユーザは、投影面上に投影され又は投影面を透過して視認される現実のワークと、投影面上に投影される３Ｄデータとを重畳させて視認することが可能となる。

図４は、情報表示システム１００の動作を示すフローチャートである。
Ｓ１：マッピング処理（初期状態）
はじめに、マッピング部１１０は、カメラ等の撮像手段を用いて、加工前のワークの画像を取得する。このとき、ワーク全体の画像を取得することが好ましい。ワークの様々な部分の特徴点を数多く取得しておくことで、後段の補完処理及びマッチムーブ処理を精緻に実行することが可能となる。

更に好ましくは、ワークだけでなくワークの周辺環境、例えばワークを載せるテーブルや工作機械の筐体等の画像も取得すると良い。これにより、ワークが完全に視認できなくなったとしても、ワークの周辺環境が視認できていれば、後段の補完処理及びマッチムーブ処理を実行することが可能となる。一般に、上述のテーブルや工作機械の筐体等は、加工中にワークとの相対的な位置関係が変化しないため、撮影する周辺環境として好ましい。あるいは、ワークとの相対的な位置関係が変化するものであっても、その相対的な位置関係を特定できるものであれば、撮影する周辺環境として好ましい。例えば、工具は加工中に位置が動くが、ある時点における工具の位置は加工プログラム等に基づいて特定可能である。

マッピング部１１０は、撮影した画像中のワークを認識し、ワークのモデルデータを作成する。典型的には、マッピング部１１０は予め保持しているワークの３Ｄモデルと、撮影された画像とからそれぞれ３次元特徴点を抽出し、両者を照合する。そして、画像に含まれる特徴点のうち３Ｄモデルの特徴点に対応するもののみを抽出、保存する。好ましくは、マッピング部１１０は、ワークの周辺環境からも特徴点を抽出する。そして、ワークの特徴点と周辺環境の特徴点とを含むデータセットを保存する。

Ｓ２：マッピング処理（加工時）
次に、マッピング部１１０は、カメラ等の撮像手段を用いて、加工中のワークの画像を取得し、ステップＳ１と同様にして加工中のワークの特徴点を抽出する。好ましくは、マッピング部１１０は、ワークの周辺環境からも特徴点を抽出する。

Ｓ３：補完処理
補完部１２０は、ステップＳ２で取得したワークの特徴点と、予め保持しているワークの３Ｄモデルの特徴点とを比較する。比較の結果、ステップＳ２で取得したワークの特徴点に欠けている部分があるならば、その部分は遮蔽物による不可視部分であると言える。そこで補完部１２０は、３Ｄモデルのうち、ワークの不可視部分に相当する部分のみをレンダリングする。すなわち、画像側で欠けている特徴点に対応する３Ｄモデル側の特徴点を含む部分的な３Ｄモデル（部分３Ｄモデル）をレンダリングする。補完部１２０は、生成した部分３Ｄモデルを表示部１４０に表示させる。

ここで、補完部１２０は、ステップＳ１で取得したワークの特徴点に含まれるものの、ステップＳ２で取得したワークの特徴点には含まれない特徴点を特定する。これは、不可視部分に存在するはずであった特徴点である。補完部１２０は、この不可視部分に存在するはずであった特徴点と、先に作成した部分３Ｄモデルの特徴点とを比較し、両者の相対位置が０に近くなるように部分３Ｄモデルを配置する。これにより、部分３Ｄモデルは、表示部１４０上において、現実のワークの不可視部分を補完するようにして表示される（図５参照）。

図６は、ワークの視認性の良否、換言すればワークの不可視部分の大小に応じて、補完部１２０による３Ｄモデルの投影部分がどのように変化するかを示す図である。図の左側に示すように、ワークの視認性が良く不可視部分が無い場合は、３Ｄモデルは投影されない。図の中央に示すように、ワークの一部分が欠けるような場合には、かけた部分に対応する部分３Ｄモデルが投影される。図の右側に示すように、ワークのほぼ全てが不可視となる状況においては、３Ｄモデルの全体が投影される。

なお、図６の右側のように、ワークのほぼ全てが不可視である場合や、ワークの画像から抽出できる特徴点が部分３Ｄモデルを配置する位置を特定できないほど僅かであるような場合は、補完部１２０は、ワークの周辺環境の特徴点に基づいて３Ｄモデルの配置位置を決定することができる。すなわち、ステップＳ１において周辺環境を含むワークの画像を取得し、ワークと周辺環境との相対位置を特定できるようにしておく。そしてステップＳ２においても周辺環境を含む画像を取得して、ステップＳ１で取得した画像との特徴点の差分を取る。これにより、ワークの特徴点が存在すべき位置を特定できる。補完部１２０は、この位置に３Ｄモデルを配置する。

Ｓ４：マッチムーブ処理
マッチムーブ部１３０は、公知の手法により、画像中のワークの位置の変化に応じて、ステップＳ３でレンダリングした３Ｄモデルを追随させる処理を行う。

Ｓ５：一定時間ごとに繰り返し
好ましくは、情報表示システム１００は、ステップＳ２乃至Ｓ４にかかる処理を一定時間ごとに繰り返す。これにより、ワークの視認性の変化にリアルタイムに追従し、適切な３Ｄモデルを重畳表示することができる。

本発明によれば、情報表示システム１００は、切削油や保護ドア等の遮蔽物等により現実のワークの一部又は全部が不可視となった場合に、不可視部分に対応する部分的な３Ｄモデルを生成し、現実のワークの不可視部分に重畳させる形で生成した３Ｄモデルを表示する。これにより、ワークの加工の進行状況、エアーカット（工具の無駄な移動経路）の有無、取り代（工具が切削送りになってから実際にワークに当たるまでの区間）の大きさ、ワークと切粉の関係、工具の先端位置等を、目視確認が難しい状況下にあっても３Ｄモデルによって確認することができる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。本発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。

例えば、上述の実施の形態では、主にワークの不可視部分を３Ｄモデルに置き換えて表示する例を示したが、本発明の適用先はワークに限定されるものではない。例えば、工具（特に先端部）や、工作機械の一部分等についても３Ｄモデルを作成して重畳表示するよう構成することも可能である。

また、部分３Ｄモデルを現実のワークに重畳表示する場合には、図６の中央下図に見られるように、現実のワークとの境界に当たる部分の透過性を上げる処理を行っても良い。これにより、現実のワークと部分３Ｄモデルとをよりシームレスに重畳表示することが可能である。

また、上述の実施の形態では、補完部１２０はステップＳ３において、ステップＳ２で取得したワークの特徴点と、予め保持しているワークの３Ｄモデルの特徴点と、を比較することでワークの不可視部分を特定したが、ステップＳ２で取得したワークの特徴点と、ステップＳ１で取得したワークの特徴点と、を比較することでワークの不可視部分を特定することもできる。すなわち、ワーク全体の特徴点と、一部が見えない状態にあるワークの特徴点とを比較することができれば良い。

また、上述の実施の形態では、表示部１４０としてＨＭＤを採用した例について主に説明したが、本発明はこれに限定されるものでなく、例えばカメラで撮像した動画像を表示可能なディスプレイや、ワークを直接視認でき、かつ３Ｄモデルを投影することも可能な透過型の保護カバー窓等を表示部１４０として用いても良い。

１００ 情報表示システム
１１０ マッピング部
１２０ 補完部
１３０ マッチムーブ部
１４０ 表示部

Claims (4)

1. ワークを撮影して前記ワークの形状を示すモデルデータを作成するマッピング部と、
   前記ワークの３Ｄモデルデータに基づいて少なくとも前記ワークの一部分の３Ｄモデル画像を生成し、前記ワークの不可視部分を前記３Ｄモデル画像で補完する補完部と、
   前記３Ｄモデル画像を前記ワークの不可視部分に重畳して表示する表示部と、を有することを特徴とする
   情報表示システム。
2. 前記モデルデータと前記３Ｄモデル画像とのマッチムーブ処理を行うマッチムーブ部をさらに有することを特徴とする
   請求項１記載の情報表示システム。
3. 前記補完部は、前記モデルデータの特徴点と前記３Ｄモデルの特徴点とを照合することにより前記補完を行うことを特徴とする
   請求項１記載の情報表示システム。
4. 前記マッピング部は、前記ワーク及び前記ワークの周辺環境のモデルデータを作成し、
   前記補完部は、前記周辺環境のモデルデータを利用して前記補完を行うことを特徴とする
   請求項１記載の情報表示システム。