JP2019066293A

JP2019066293A - 映像表示システム

Info

Publication number: JP2019066293A
Application number: JP2017191318A
Authority: JP
Inventors: 健生山▲崎▼; Takeo Yamazaki; 兵庫泉原; Hyogo Izumihara
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2017-09-29
Filing date: 2017-09-29
Publication date: 2019-04-25
Anticipated expiration: 2037-09-29
Also published as: JP6836979B2

Abstract

【課題】実物体に対して正確に仮想物体を表示できると共に処理負荷が抑制され得る映像表示システムを提供する。【解決手段】映像表示システム１００は、第１画像から、実空間に配置された実物体のエッジを検出し、実物体のエッジの検出結果と、位置姿勢演算部１５２で演算された、実物体のエッジを撮像した際の撮像装置の位置及び姿勢、仮想エッジとから、座標軸と撮像装置の位置及び姿勢との関係を設定する関係設定部１５３と、第２画像から、実空間において実物体に対応して予め配置されたマーカを検出し、マーカの検出結果と、位置姿勢演算部１５２で演算された、マーカを撮像した際の撮像装置の位置及び姿勢と、仮想位置とから、関係設定部１５３によって設定された、座標軸と撮像装置の位置及び姿勢との関係を修正する関係修正部１５４と、を備える。【選択図】図１

Description

本発明は、ユーザの作業を支援する映像を表示する映像表示システムに関する。

実空間における実物体に対応して仮想空間における仮想物体をコンピュータグラフィック等によって表示する、複合現実感（Mixed Reality；以下、「ＭＲ」という）に関する技術が知られている（例えば、特許文献１参照）。特許文献１は、実物体である建築模型を撮像した実映像と仮想映像を合成して表示する際に、実写指標（実空間に配置されたマーカ）を用いて実映像と仮想映像との間の位置ズレを修正する技術について記載している。非特許文献１は、ポスタの形状（エッジ）の検出結果に応じて撮像装置の位置及び姿勢を演算し、仮想物体を表示する位置を決定する技術について記載している。

特開２００６−１８４４４号公報

天目隆平、外４名、"ポスタを利用した複合現実感用機可位置合わせ"、日本バーチャルリアリティ学会論文誌Ｖｏｌ．１４（２００９）Ｎｏ．３ｐ．３５１―３６０

ＭＲ技術の利用方法として、ＨＭＤ（Head Mount Display）等（以下、「ＭＲデバイス」という）を介して、ユーザの作業を支援する仮想映像を実物体に対応させてユーザに提供することが考えられる。例えば、鋼材の溶接作業では、図面の読み解き、鋼材への罫書き、罫書きの確認といった作業が必要である。複雑な図面では熟練技師でも理解に時間を要し、溶接部分が多ければ単純ミスによる手戻りが発生する。このため、従来の鋼材の溶接作業には、熟練の技術を要していた。ＭＲデバイスを利用して、取り付け部材の仮想映像（仮想物体）を実物の鋼材に重畳表示すれば、鋼材の溶接作業が簡易になる。

しかしながら、例えば鋼材など長尺形状の実物体では、実物体のエッジの全体を撮像できないおそれがある。非特許文献１に記載されているようにエッジを検出して仮想物体を表示する配置（以下、「表示配置」という）を決定する場合、実物体のエッジの全体を検出せずに、実物体に対して仮想物体を正確に配置して表示することは困難である。特に、実物体が長尺形状の場合、実物体の長手方向において仮想物体の表示配置にズレが生じ易い。

一方、特許文献１に記載されているように、実空間に配置されたマーカのみを用いて仮想物体の表示配置を修正する場合、ＭＲデバイスに付属の撮像装置によってマーカから実物体の３次元の配置情報を正確に取得することを要する。このため、処理負荷が大きい。

本発明は、上記の問題に鑑みてなされたものであり、実物体に対して正確に仮想物体を表示できると共に処理負荷が抑制され得る映像表示システムを提供することを目的とする。

上記の目的を達成するために、本発明に係る映像表示システムは、実空間に配置された実物体に対応して仮想物体を表示する映像表示システムであって、実空間を撮像する撮像装置と、撮像装置の位置及び姿勢を演算する位置姿勢演算部と、仮想空間における座標軸上の仮想物体の配置情報を予め格納している格納部と、撮像装置によって撮像された第１画像から、実空間に配置された実物体のエッジを検出し、実物体のエッジの検出結果と、位置姿勢演算部で演算された、実物体のエッジを撮像した際の撮像装置の位置及び姿勢、座標軸に予め対応付けられた仮想エッジとから、座標軸と撮像装置の位置及び姿勢との関係を設定する関係設定部と、撮像装置によって撮像された、第２画像から、実空間において実物体に対応して予め配置されたマーカを検出し、マーカの検出結果と、位置姿勢演算部で演算された、マーカを撮像した際の撮像装置の位置及び姿勢と、座標軸に予め対応付けられた仮想位置とから、関係設定部によって設定された、座標軸と撮像装置の位置及び姿勢との関係を修正する関係修正部と、格納部に格納されている配置情報と、関係修正部によって修正された、座標軸と位置姿勢演算部で演算された撮像装置の位置及び姿勢との関係とに基づいて、仮想物体を表示する表示部と、を備える。

本発明に係る映像表示システムは、実物体のエッジとマーカとを検出しているため、実物体のエッジの全体が検出されなくても、実物体に対して仮想物体を正確に表示し得る。上記映像表示システムは、座標軸と、位置姿勢演算部で演算された撮像装置の位置及び姿勢との関係を、実物体のエッジに基づいて設定した後にマーカに基づいて修正している。したがって、エッジに基づく処理で適切に設定されていれない次元に関する情報のみがマーカから取得されればよいため、マーカの検出精度が確保されながら処理負荷が低減され得る。

本発明によれば、実物体に対して正確に仮想物体を表示できると共に処理負荷が抑制され得る映像表示システムを提供することができる。

一の実施形態に係る映像表示システムの機能を説明するための図である。映像表示システムを使った作業で用いられる各種部材を説明するための図である。ユーザが移動して作業位置に移動する前の映像表示システムの表示と周辺環境とを示す図である。ユーザが移動した後、かつ、仮想物体の表示配置を修正する前の映像表示システムの表示と周辺環境とを示す図である。エッジを用いた、仮想空間における仮想物体の配置の修正を説明するための図である。エッジを用いた、仮想空間における仮想物体の配置の修正を説明するための図である。エッジを用いた、仮想空間における仮想物体の配置の修正を説明するための図である。仮想物体の表示配置を修正する工程を示すフローチャートである。表示制御部によって行われる制御処理を示すフローチャートである。表示制御部によって行われるズレ修正処理を示すフローチャートである。一の実施形態に係る映像表示システムのハードウェア構成を示す図である。

以下、図面と共に本発明に係る映像表示システムの実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

まず、図１から図５を参照して、本実施形態に係る映像表示システム１００について説明する。図１は、映像表示システム１００のブロック図を示す。映像表示システム１００は、例えばユーザに装着されるＨＭＤ等によって実現され、実空間（ワールド座標系）に対応付けられたＣＧ（コンピュータグラフィックス）による仮想物体を表示する。映像表示システム１００は、ハーフミラーを用いて実空間の実物体と仮想物体とをユーザに視認させる光学シースルー方式を採用している。映像表示システム１００は、実空間の映像に仮想物体を融合してユーザに視認させるビデオシースルー方式を採用してもよい。以下では、映像表示システム１００がＭＲ技術に用いられるＨＭＤであることを例に説明する。

図２は、映像表示システム１００を使った作業で用いられる各種部材を示している。映像表示システム１００は、実空間に配置された実物体である作業対象物１２１に対応してディスプレイ１４０に仮想物体を表示することでユーザの作業を支援する。「配置」は、所定の３次元座標軸上の座標及び３次元座標軸の各軸周りの回転（３次元座標上の向き）によって規定される６自由度の状態を意味する。具体的には、映像表示システム１００は、ユーザの目線と同様の撮像方向等で撮像を行う。映像表示システム１００は、撮像を行った画像に基づいて、ディスプレイ１４０に表示する仮想物体の配置を決定する。ユーザは、この表示を見ることで、実空間に配置された作業対象物１２１に応じた、現実にはない仮想物体を見ることができる。仮想物体としては、実空間の作業対象物１２１を示すものが含まれていてもよい。

映像表示システム１００は、３次元座標である仮想空間（スクリーン座標系）を用いて仮想物体の表示を行う。映像表示システム１００は、仮想空間上の予め設定された位置に仮想物体を配置しておき、仮想空間と実空間との対応関係を算出する。仮想物体の仮想空間上の配置を表示配置という。以下の説明では、仮想空間において仮想物体の位置を示す座標軸を仮想座標軸αという。映像表示システム１００は、実空間での撮像位置及び撮像方向に対応する仮想空間上での位置及び方向から見た画像を仮想物体の表示とする。即ち、仮想的なユーザの視線から、仮想空間上の仮想物体を見た画像を表示する。上記の仮想物体の表示は、従来のＭＲ技術を用いて実施することができる。

本実施形態では、作業対象物１２１は、１０ｍ以上の長尺形状のＨ形鋼であり、断面がＨ字形状の鋼材である。このため、作業対象物１２１は、長手方向に直線状のエッジ１３１，１３２、短手方向に直線状のエッジ１３３，１３４を有している。エッジ１３１とエッジ１３３は、作業対象物１２１において上方に配置されたフランジのエッジである。エッジ１３２とエッジ１３４は、作業対象物１２１において下方に配置されたフランジのエッジである。映像表示システム１００は、実空間に配置された鋼材（作業対象物１２１）に対して、当該鋼材を示す仮想物体２０１と当該鋼材に溶接する予定の鉄板を示す仮想物体２０２とを表示する。具体的には、映像表示システム１００は、ユーザに対して、仮想物体２０１が実空間に配置された作業対象物１２１に重なって視認されるように表示し、仮想物体２０２が溶接されるべき配置で視認されるように表示する。これによって、映像表示システム１００は、ユーザが鋼材に鉄板を溶接する作業を支援できる。図３は、ユーザが移動して作業をする場所（以下、「作業位置」という）に移動する前の映像表示システム１００の表示と周辺環境とを示している。図４は、ユーザが移動した後、かつ、仮想物体の表示配置を修正する前の映像表示システム１００の表示と周辺環境とを示している。

映像表示システム１００は、ユーザの移動を検出して、ユーザの移動に応じた視線の変化にあわせるように当該移動に応じて表示を変化させる。映像表示システム１００では、ユーザの移動量に応じて移動検出の誤差が蓄積し、作業対象物１２１に対応して仮想物体２０１，２０２の表示配置がずれる（即ち、実空間と仮想空間との対応付けがずれる）。映像表示システム１００は、作業対象物１２１に対して実空間に配置された、指標部材１２３と、作業対象物１２１のエッジ１３１，１３２，１３３，１３４とによって、作業対象物１２１に対する仮想物体２０１，２０２の表示配置を修正する。

指標部材１２３は、作業対象物１２１に対して予め決められた位置に配置されている。本実施形態では、指標部材１２３は、長尺形状を有しており、作業対象物１２１の面１２１ａ上で、作業対象物１２１の長手方向に沿って配置されている。指標部材１２３は、実空間において作業対象物１２１のエッジ１３３に対して予め決められた位置に配置された複数の指標１２４を含んでいる。複数の指標１２４の各々は、作業対象物１２１に対して予め配置されたマーカ１２５等を含んでいる。本実施形態では、各マーカ１２５は、撮像装置１０１による撮像画像の画像認識によって、各指標１２４が指標部材１２３のどの位置に配置されるかを判断可能な特徴（数字、模様、形状、色等）を有している。このため、指標部材１２３が作業対象物１２１に対して予め決められた位置に配置されている場合、マーカ１２５の画像認識によって、当該マーカ１２５を含む指標１２４の作業対象物１２１に対する３次元配置を識別できる。

本実施形態では、指標部材１２３は巻き尺である。複数の指標１２４は、マーカ１２５に加えて矩形状を有した目盛りを有しており、所定の間隔（例えば、等間隔）で指標部材１２３に設けられている。各マーカ１２５は、各指標１２４の位置を示す数字を含んでいる。各指標１２４は、指標部材１２３が延在する直線上に、所定位置から１ｃｍごとに付されている。各マーカ１２５は、対応する指標１２４の当該所定位置からの距離を示す数字（具体的には、目盛りの数値）を含んでいる。指標部材１２３は、指標部材１２３の予め設定された位置（例えば、端部の中央の点である０ｃｍ地点）である基準点Ｍが作業対象物１２１の一端のエッジ１３３の中心に位置するように配置されている。このようにマーカ１２５は、所定の間隔（例えば、等間隔）で指標部材１２３に設けられている。

指標部材１２３は、同一間隔でマーカ１２５が付された紐であってもよい。作業対象物１２１に、レーザー、チョーク等でマーカ１２５が記されていてもよい。プロジェクションマッピングによって、作業対象物１２１上に、マーカ１２５が表示されてもよい。

映像表示システム１００は、図１に示されているように、撮像装置１０１、撮像装置１０１の移動を検出する移動検出部１０２、データ格納部１０３、表示部１０４、操作部１０５、及び表示制御部１５０を備えている。映像表示システム１００のうち、少なくとも撮像装置１０１、移動検出部１０２、及び表示部１０４は、ユーザに装着可能である。

撮像装置１０１は、実空間を撮像し、撮像した画像を逐次、表示制御部１５０へ送信する。本実施形態では、ユーザの頭に固定され、ユーザの頭の動きに合わせて撮像装置１０１の位置及び姿勢が変動する。撮像装置１０１の位置は、撮像装置１０１の座標位置である。撮像装置１０１の姿勢は、３次元座標の各軸周りの回転（３次元座標上の向き）である。撮像装置１０１は、深度カメラ、及びＲＧＢカメラ等の複数のカメラから構成されている。

データ格納部１０３は、作業対象物１２１のエッジ１３１，１３３及びマーカ１２５の配置と基準点Ｍとの配置関係を予め格納している。データ格納部１０３は、基準点Ｍと、仮想座標軸αとの配置関係も予め格納している。実空間における基準点Ｍの位置と、仮想座標軸αの原点Ｎとが対応付けられており、実空間における作業対象物１２１の一端のエッジ１３３と、仮想座標軸αの原点Ｎとが対応付けられている。

基準点Ｍとする位置には、画像認識によって、実空間における基準点Ｍの３次元配置を識別可能な特徴を有する図形等（例えば、２次元コード）を有する基準マーカが配置されてもよい。この場合、データ格納部１０３に、予め当該基準マーカと仮想座標軸αの配置とを対応付けた配置情報を格納しておく。当該基準マーカを検出すると共にデータ格納部１０３を参照することによって、当該基準マーカの位置、すなわち基準点Ｍに仮想座標軸αの原点Ｎを対応付けることができると共に、実空間上の方向を仮想座標軸αの方向に対応付けることができる。

データ格納部１０３は、仮想物体２０１，２０２の表示に必要な各種情報（ＣＧデータ）を予め格納している。例えば、データ格納部１０３は、仮想空間における仮想座標軸αに予め対応付けられた、仮想物体２０１，２０２（鋼材のＣＧデータ）の表示配置、当該仮想物体２０１，２０２の仮想エッジ２０３，２０４，２０５，２０６、及び複数の仮想位置２１０の情報を含む配置情報を予め格納している。具体的には、データ格納部１０３は、仮想物体２０１，２０２の表示配置、仮想エッジ２０３，２０４，２０５，２０６、及び複数の仮想位置２１０の仮想座標軸α上の座標を格納している。仮想座標軸αを実空間に対応付けることで、実空間での撮像装置１０１の位置及び姿勢に対応する仮想物体２０１，２０２の表示配置、複数の仮想位置２１０が決定される。複数の仮想位置２１０は、仮想物体２０１，２０２の表示配置の修正（即ち、実空間と仮想空間との対応付けの修正）に用いられる。

仮想座標軸αの原点Ｎと複数の仮想位置２１０の各々との相対位置関係は、基準点Ｍと複数の指標１２４の各々との相対位置関係に対応している。すなわち、複数の仮想位置２１０の各々は、各指標１２４の位置を示す各マーカ１２５に対応付けられている。例えば、それらの相対位置関係は、同じものとなる。本実施形態では、複数の仮想位置２１０は、仮想座標軸αの原点Ｎから直線上に実空間の１ｃｍに相当する距離ごとに位置する。なお、上記の仮想空間に係る情報の形式は、従来のＭＲ技術で用いられるものを用いることができる。

仮想エッジ２０３，２０４，２０５，２０６は、作業対象物１２１に対応する仮想物体２０１のエッジである。仮想エッジ２０３，２０４，２０５，２０６は、それぞれ、実空間における作業対象物１２１のエッジ１３１，１３２，１３３，１３４に対応する直線状のエッジである。仮想座標軸αの原点Ｎと仮想エッジ２０３，２０４，２０５，２０６の各々との相対位置関係は、基準点Ｍとエッジ１３１，１３２，１３３，１３４の各々との相対位置関係に対応している。例えば、それらの相対位置関係は、同じものとなる。仮想エッジ２０３，２０４は、仮想座標軸αに平行である。

表示部１０４は、図３及び図４に示されているように、撮像装置１０１の位置及び姿勢に応じて、仮想物体２０１，２０２を含む仮想映像をディスプレイ１４０に表示する。表示部１０４は、データ格納部１０３に格納されている仮想物体２０１，２０２の表示配置等の配置情報と、仮想座標軸αと撮像装置１０１の位置及び姿勢との関係とから、従前の方法で、仮想物体２０１，２０２をディスプレイ１４０に表示する配置を演算する。表示部１０４は、仮想物体２０１，２０２の表示に必要な各種情報をデータ格納部１０３から取得する。表示部１０４による表示は、実空間での撮像位置及び撮像方向に対応する仮想空間上での位置及び方向から見た画像を、仮想物体の表示とするものである。

本実施形態では、表示部１０４は、仮想映像として、当該鋼材を示す仮想物体２０１と、当該鋼材に溶接する予定の鉄板を示す仮想物体２０２と、仮想位置２１０とを表示する。実空間に対する仮想座標軸αの配置、及び撮像装置１０１の位置及び姿勢は、表示制御部１５０で決定される。表示部１０４は、ユーザが仮想物体２０１，２０２を適切に視認できる状態でユーザの頭に固定される。

操作部１０５は、ユーザによって操作された際に、当該操作に応じた信号を表示制御部１５０へ逐次送信する。例えば、操作部１０５は、ユーザの操作に応じて表示制御部１５０に、仮想物体２０１，２０２の表示配置の修正を指示する信号を送信する。

移動検出部１０２は、撮像装置１０１の移動を検出し、検出結果を逐次、表示制御部１５０へ送信する。映像表示システム１００は、当該検出結果に基づいて、ユーザの移動に追従した映像を表示する。例えば、移動検出部１０２は、撮像装置１０１の移動の方向及び移動の量を示す移動ベクトルを検出する。本実施形態では、移動検出部１０２は、ユーザの頭に固定された、加速度センサ、ジャイロセンサ、及び方位センサ等を有する慣性計測ユニットによって構成されている。本実施形態では、移動検出部１０２は、それ自体が移動を検出する。移動検出部１０２が慣性計測ユニット等の出力信号を表示制御部１５０へ送信し、表示制御部１５０が移動を演算してもよい。移動の検出は、従来のＭＲ技術に用いられている方法を用いて実施することができる。

表示制御部１５０は、撮像装置１０１で撮像された画像（以下、「撮像画像」という）に基づいて、仮想物体２０１，２０２の表示配置を規定する仮想座標軸αと、位置姿勢演算部１５２で演算された撮像装置１０１の位置及び姿勢との関係を決定する。これによって、表示部１０４における仮想物体２０１，２０２の表示配置が決定される。表示制御部１５０は、基準配置設定部１５１、位置姿勢演算部１５２、関係設定部１５３、及び関係修正部１５４を有している。

基準配置設定部１５１は、撮像装置１０１の撮像画像に基づいて、仮想物体２０１，２０２の表示配置を規定する仮想座標軸αを実空間に対応付ける。具体的には、基準配置設定部１５１は、撮像装置１０１を作業対象物１２１のエッジ１３１に近づけて撮像した撮像画像から作業対象物１２１の基準点Ｍを検出する。例えば、基準配置設定部１５１は、予め基準点Ｍの周囲のエッジ１３１，１３３の形状等の特徴と基準点Ｍとの位置関係を記憶しておく。基準配置設定部１５１は、撮像画像から周囲のエッジ１３１，１３３の形状等の特徴を検出して、当該検出結果と記憶した位置関係とから、基準点Ｍを検出する。基準配置設定部１５１は、検出結果と、データ格納部１０３に格納されている情報とから、実空間における基準点Ｍを特定し、基準点Ｍに仮想座標軸αの原点Ｎを対応付ける。

基準配置設定部１５１は、データ格納部１０３に格納されている情報にしたがって、検出されたエッジ１３１，１３３の位置に仮想エッジ２０３，２０５に対応付ける。検出されたエッジ１３１，１３３等から実空間上の方向が、仮想座標軸αの方向に対応付けられる。これによって、実空間における基準点Ｍの配置に、仮想物体２０１，２０２の表示配置、仮想位置２１０が対応付けられる。なお、基準点Ｍに上述した基準マーカが配置されている場合には、基準配置設定部１５１は、基準マーカの検出結果とデータ格納部１０３に予め格納されている配置情報とから、基準点Ｍに仮想座標軸αの原点Ｎを対応付ける。この場合、エッジ１３１，１３３を用いずに、基準マーカによって、基準点Ｍの配置に仮想物体２０１，２０２の表示配置、仮想位置２１０が対応付けられる。

位置姿勢演算部１５２は、撮像装置１０１の位置及び姿勢を演算する。位置姿勢演算部１５２は、映像表示システム１００の電源がＯＮに切り替わると、撮像装置１０１の位置及び姿勢の初期状態を設定する。例えば、位置姿勢演算部１５２は、当該撮像装置１０１の撮像画像から特徴点を検出し、当該特徴点を実空間上の原点に設定する。位置姿勢演算部１５２は、当該原点と撮像装置１０１との相互配置、並びに、加速度センサ及びジャイロセンサ等の出力から、撮像装置１０１の位置及び姿勢の初期状態を演算する。本実施形態では、基準点Ｍを、撮像装置１０１の位置及び姿勢の初期状態を演算する実空間上の原点として説明する。また、位置姿勢演算部１５２は、当該画像から、設定した原点に対する撮像装置１０１の位置及び姿勢を演算する。

位置姿勢演算部１５２は、移動検出部１０２で検出された移動と撮像装置１０１の撮像画像から検出される特徴点の遷移ベクトルとから、撮像装置１０１の位置及び姿勢を逐次演算する。具体的には、位置姿勢演算部１５２は、移動後の撮像装置１０１の位置及び姿勢（即ち、撮像装置１０１の現時点での位置及び姿勢）を演算する。表示制御部１５０は、基準点Ｍが撮像画像から検出されない場合、初期状態における仮想座標軸αと撮像装置１０１の位置及び姿勢との関係、及び位置姿勢演算部１５２で演算された撮像装置１０１の位置及び姿勢から、仮想座標軸αの配置を逐次判断する。

本実施形態では、位置姿勢演算部１５２は、基準配置設定部１５１によって検出された基準点Ｍに対する撮像装置１０１の位置及び姿勢を逐次演算する。位置姿勢演算部１５２は、移動検出部１０２の検出結果のみから、撮像装置１０１の位置及び姿勢を演算してもよい。位置姿勢演算部１５２は、演算した撮像装置１０１の位置及び姿勢のデータを、データ格納部１０３に格納する。位置姿勢演算部１５２は、演算した当該データを、直接、表示部１０４へ送信してもよい。位置姿勢演算部１５２における演算結果の誤差は、ユーザの移動量が増加に応じて蓄積される。位置姿勢演算部１５２における演算結果の誤差が蓄積されるにしたがって、位置姿勢演算部１５２で演算された撮像装置１０１の位置及び姿勢の実空間に対するズレ、及び仮想座標軸αの実空間に対する配置のズレが増加する。その結果、映像表示システム１００では、仮想物体２０１，２０２の表示配置がずれる。本実施形態では、作業対象物１２１が１０ｍ以上の長尺形状であるため、ユーザは主に作業対象物１２１の長手方向に移動する。このため、主に、実空間における長手方向に対応する誤差（ズレ）が生じる。撮像装置１０１の位置及び姿勢の演算は、従来のＭＲ技術に用いられている方法を用いて実施することができる。

表示制御部１５０は、関係設定部１５３、及び関係修正部１５４によって、後述するズレ修正処理を行う。表示制御部１５０は、ズレ修正処理によって、ユーザの移動量に応じて蓄積した移動検出の誤差による仮想物体２０１，２０２の表示配置のズレを修正する。本実施形態において、表示制御部１５０は、操作部１０５の操作に応じて当該修正を行う。例えば、表示制御部１５０は、ボタンの押下等の操作部１０５が操作されたタイミングで当該修正を行う。図４には、作業対象物１２１に対して仮想物体２０１，２０２がずれて表示されている状態が示されている。

関係設定部１５３は、作業位置において、作業対象物１２１のエッジ１３１，１３２によって、仮想座標軸αと撮像装置１０１の位置及び姿勢との関係を設定する。本実施形態では、関係設定部１５３は、撮像装置１０１によって撮像された画像（以下、関係設定部１５３で使用される画像を「第１画像」という）から、作業対象物１２１のエッジ（実物体である作業対象物１２１の輪郭を示す線）１３１，１３２を検出する。例えば、当該第１画像は、ユーザが作業を行うために基準点Ｍから移動した位置において撮像された画像である。関係設定部１５３は、当該検出結果と、位置姿勢演算部１５２で演算された、エッジ１３１，１３２を撮像した際の撮像装置１０１の位置及び姿勢と、仮想座標軸αに予め対応付けられた仮想エッジ２０３，２０４とから、仮想座標軸αと撮像装置１０１の位置及び姿勢との関係を設定する。本実施形態では、関係設定部１５３による関係の設定は、作業対象物１２１の長手方向以外の方向（第１方向）について、仮想物体２０１，２０２の位置ズレをなくすためのものである。これによって、例えば、ユーザの移動量が増加に応じて位置姿勢演算部１５２における演算結果の誤差が蓄積されても、作業対象物１２１の長手方向以外における仮想物体２０１，２０２の表示配置（作業対象物１２１に対する仮想座標軸αの位置及び回転ズレ）が修正され得る。

関係設定部１５３は、作業対象物１２１の長手方向に延在するエッジであれば、作業対象物１２１のエッジ１３１，１３２の代わりに指標部材１２３のエッジを用いてもよい。関係設定部１５３は、作業対象物１２１のエッジと指標部材１２３のエッジとの両方を用いてもよい。関係設定部１５３は、作業対象物１２１のエッジ１３１，１３２のうち一方のみずつを用いて処理を行ってもよいし、２つの平行なエッジ１３１を用いて処理を行ってもよい。以下、関係設定部１５３で行われる、仮想座標軸αと撮像装置１０１の位置及び姿勢との関係の設定について、詳細に説明する。

関係設定部１５３は、まず、第１画像から、実空間に配置された作業対象物１２１のエッジ１３１，１３２を検出（抽出）する。エッジの検出では、処理負荷の観点からエッジの３次元位置（撮像装置１０１に対する相対的な３次元位置）を直接的に演算しない方法が用いられる。従って、以下のように２つのエッジから、エッジの３次元位置を算出する。

本実施形態では、関係設定部１５３は、従前の方法によって第１画像からエッジを検出し、検出された全てのエッジの各々について、エッジ１３１，１３２に相当するものであるか否か判断する。例えば、関係設定部１５３は、検出されたエッジのうち最も長いエッジ及びそのエッジにおおよそ平行なエッジをエッジ１３１，１３２に相当するものであると判断する。「おおよそ」とするのは、２次元画像上では、パースが入るため、正確に平行にならない場合があるためである。関係設定部１５３は、そのように判断されたエッジのうち２つの平行なエッジに挟まれているエッジを除去する。すなわち、関係設定部１５３は、第１画像の２次元平面上のエッジの延在方向に直交する方向において、最も外側の２つのエッジを抽出する。これによって、図４に示されている状態では、エッジ１３１，１３２（図中の作業対象物１２１最も上及び下のエッジ１３１，１３２）が抽出される。なお、撮像方向によっては、２つのエッジ１３１が抽出される場合もあるが、この場合は、以降の処理についてエッジ１３１，１３２を２つのエッジ１３１と読み替える。

関係設定部１５３は、作業対象物１２１のエッジ１３１，１３２の検出結果と、位置姿勢演算部１５２で演算された、エッジ１３１，１３２を撮像した際の撮像装置１０１の位置及び姿勢とから、エッジ１３１，１３２の各々及び撮像装置１０１の当該位置を通る平面Ｐ１，Ｐ２を演算し、仮想空間に配置する。すなわち、平面Ｐ１，Ｐ２は、撮像画像上では線として認識されるような位置に配置される。関係設定部１５３は、仮想空間上において、平面Ｐ１，Ｐ２に対して適切な仮想エッジ２０３，２０４を回転させ平行移動させて、当該仮想エッジ２０３，２０４を平面Ｐ１、Ｐ２上に配置させる。関係設定部１５３は、当該仮想エッジ２０３，２０４の回転及び平行移動に対応して、仮想座標軸αも平面Ｐ１，Ｐ２に対して回転させ平行移動させる。換言すれば、関係設定部１５３は、仮想エッジ２０３，２０４が作業対象物１２１のエッジ１３１，１３２に沿うように、仮想座標軸αと撮像装置１０１の位置及び姿勢との関係を設定する。これによって、仮想空間における仮想物体２０１の配置が修正される。関係設定部１５３は、３次元の仮想空間において、平面Ｐ１に対する仮想物体２０１の配置を修正した後に、平面Ｐ２に対する仮想物体２０１の配置を修正する。図５から図７は、平面Ｐ１に対する、仮想物体２０１の表示配置の修正を説明するための図である。

関係設定部１５３は、データ格納部１０３に格納されている配置情報とエッジ１３１，１３２を撮像した際の撮像装置１０１の位置及び姿勢とから、仮想物体２０１の仮想エッジ２０３，２０４のうち、平面Ｐ１に最も近い仮想エッジを、回転させる対象として選択する。関係設定部１５３は、データ格納部１０３に格納されている配置情報とエッジ１３１，１３２を撮像した際の撮像装置１０１の位置及び姿勢とから、ディスプレイ１４０に表示される部分が、最も長い仮想エッジを選択してもよい。この際、予め設定されている閾値等を用いて、仮想エッジを選択する。あいまいなエッジしか抽出できない場合には、エラーを表示して撮像装置１０１の位置及び姿勢を変えることとしてもよい。あるいは、関係設定部１５３は、想定される撮像位置等に基づき、位置合わせに用いる２つの仮想エッジを予め決めておいてもよい。図５に示した状態では、仮想エッジ２０３の１つが選択される。

関係設定部１５３は、仮想空間において、撮像画像の中心を通る撮像方向に平行な軸周りに、選択された仮想エッジ２０３が平面Ｐ１と平行になるように回転させる。関係設定部１５３は、データ格納部１０３に格納されている配置情報を参照して、回転させた仮想エッジ２０３の配置に応じて仮想座標軸α及び仮想物体２０１，２０２を配置する。具体的には、関係設定部１５３は、仮想空間上の撮像装置１０１の位置及び姿勢を動かさないまま、仮想エッジ２０３の回転と同様に仮想物体２０１，２０２及び仮想位置２１０を回転させる。その結果、図６に示されているように、平面Ｐ１に仮想物体２０１の長辺が平行になるように、仮想物体２０１が配置される。

関係設定部１５３は、仮想エッジ２０３の回転を行った後、仮想物体２０１の仮想エッジ２０３，２０４のうち、平面Ｐ１への平行移動の移動量が最も少ない仮想エッジを平行移動の対象として選択する。図６では、仮想エッジ２０３が選択される。関係設定部１５３は、図７に示されているように、選択された仮想エッジ２０３が平面Ｐ１上に配置されるように、当該仮想エッジ２０３を平面Ｐ１に直交する方向に平行移動する。関係設定部１５３は、データ格納部１０３に格納されている配置情報を参照して、平行移動した仮想エッジ２０３に対応して、仮想座標軸α及び仮想物体２０１，２０２を再配置する。具体的には、関係設定部１５３は、仮想空間上の撮像装置１０１の位置及び姿勢を動かさないまま、仮想エッジ２０３の平行移動と同様に仮想物体２０１，２０２及び仮想位置２１０を平行移動させる。

関係設定部１５３は、上述したように仮想エッジ２０３を平面Ｐ１に一致させた後に、平面Ｐ１に対する処理と同様に、仮想物体２０１の仮想エッジ２０３，２０４のうち、平面Ｐ２に対して回転させる対象を選択し、選択された仮想エッジ（仮想エッジ２０４とする）を平面Ｐ２と平行になるように回転させる。この際、関係設定部１５３は、仮想エッジ２０３を平面Ｐ１に対して回転させた回転軸と直交する軸周り（平面Ｐ１に直交する軸周り）に、回転させる対象である仮想エッジ２０４を回転させる。関係設定部１５３は、データ格納部１０３に格納されている配置情報を参照して、回転させた仮想エッジ２０４の配置に応じて仮想座標軸α及び仮想物体２０１，２０２を再配置する。具体的には、関係設定部１５３は、仮想空間上の撮像装置１０１の位置及び姿勢を動かさないまま、仮想エッジ２０４の回転と同様に仮想物体２０１，２０２及び仮想位置２１０を回転させる。

関係設定部１５３は、仮想エッジ２０３を平面Ｐ１に対して回転させた回転軸、及び、仮想エッジ２０４を平面Ｐ２に対して回転させた回転軸、と直交する回転軸周りに、作業対象物１２１の面１２１ａに対応する仮想物体２０１の面が地面に対しておおよそ平行になるように、当該仮想物体２０１を回転させる。おおよそとしたのは、回転状況に応じては平行にできない可能性もあるためである。関係設定部１５３は、データ格納部１０３に格納されている配置情報を参照して、回転させた仮想エッジ２０４の配置に応じて仮想座標軸α及び仮想物体２０１，２０２を再配置する。具体的には、関係設定部１５３は、仮想空間上の撮像装置１０１の位置及び姿勢を動かさないまま、仮想エッジ２０４の回転と同様に仮想物体２０１，２０２及び仮想位置２１０を回転させる。

関係設定部１５３は、仮想エッジ２０４の回転を行った後、平面Ｐ１に対する処理と同様に、仮想物体２０１の仮想エッジ２０３，２０４のうち、平面Ｐ２への平行移動の移動量が最も少ない仮想エッジを平行移動の対象として選択する。関係設定部１５３は、選択された仮想エッジ（仮想エッジ２０４とする）が平面Ｐ２上に配置されるように、当該仮想エッジ２０４を、平面Ｐ１に平行かつ位置姿勢演算部１５２によって演算された撮像装置１０１の位置の方向に平行移動する。関係設定部１５３は、データ格納部１０３に格納されている配置情報を参照して、平行移動した仮想エッジ２０４に対応して、仮想座標軸α及び仮想物体２０１，２０２を再配置する。具体的には、関係設定部１５３は、仮想空間上の撮像装置１０１の位置及び姿勢を動かさないまま、仮想エッジ２０４の平行移動と同様に仮想物体２０１，２０２及び仮想位置２１０を平行移動させる。関係設定部１５３は、以上のようにして、作業対象物１２１のエッジ１３１，１３２によって再配置された仮想座標軸αと、エッジ１３１，１３２を撮像した際の撮像装置１０１の位置及び姿勢との関係を設定（修正）する。

関係修正部１５４は、関係設定部１５３によって設定された、仮想座標軸αと撮像装置１０１の位置及び姿勢との関係を、マーカ１２５によって修正する。本実施形態では、関係修正部１５４は、撮像装置１０１によって撮像された画像（以下、関係修正部１５４で使用される画像を「第２画像」という）、マーカ１２５を検出する。本実施形態では、第２画像は、関係設定部１５３による上記処理が終了した後に撮像された画像であり、第１画像とは異なる画像である。第１画像と第２画像は、同じ画像であってもよい。第２画像は、マーカ１２５を画像から検出しやすいように、第１画像を撮像した場合よりも撮像装置１０１を作業対象物１２１に近づけて撮像した画像である。

関係修正部１５４は、マーカ１２５の検出結果と、位置姿勢演算部１５２で演算された、マーカ１２５を撮像した際の撮像装置１０１の位置及び姿勢と、仮想座標軸αに予め対応付けられた仮想位置２１０とから、関係設定部１５３によって設定された、仮想座標軸αと撮像装置１０１の位置及び姿勢との関係を修正する。関係修正部１５４は、例えば、作業対象物１２１の長手方向（仮想エッジ２０３，２０４に平行な方向（第１方向とは異なる第２方向））において、関係設定部１５３によって設定された、仮想座標軸αと撮像装置１０１の位置及び姿勢との関係を修正する。これによって、関係設定部１５３では修正しきれていない、作業対象物１２１の長手方向における仮想物体２０１，２０２の表示配置が修正される。

関係修正部１５４は、マーカ１２５を従前の方法によって画像認識で読み込むことで、マーカ１２５を検出する。関係修正部１５４は、マーカ１２５の検出結果と、第２画像を撮像した際の撮像装置１０１の位置及び姿勢と、第２画像とから、検出された指標１２４の実空間上の座標位置を求めて、更に当該実空間上の座標から、仮想座標軸α上における指標１２４の座標位置を求める。検出されたマーカ１２５から、指標１２４の実空間及び仮想座標軸α上の座標位置の算出は、従来のＭＲ技術に用いられている方法を用いて実施することができる。第２画像は、第１画像よりも作業対象物１２１の近くで撮像された画像であるため、マーカ１２５の数字が画像認識によって読み込まれやすい。第２画像を撮像した際の撮像装置１０１の位置及び姿勢は、位置姿勢演算部１５２で演算される。

関係修正部１５４は、求めた指標１２４の座標位置と、データ格納部１０３に格納されている相対位置関係とから、仮想空間における検出されたマーカ１２５に含まれる指標１２４と、当該指標１２４に対応する仮想位置２１０との位置関係を演算する。関係修正部１５４は、指標１２４と当該指標１２４に対応する仮想位置２１０との位置関係として、指標１２４に対する仮想位置２１０の仮想座標軸α上におけるズレ量及びズレ方向を演算する。演算されたズレ量は、作業対象物１２１の長手方向のズレ量及びズレ方向である。関係修正部１５４は、当該ズレ量の分だけ、関係設定部１５３で設定された仮想座標軸αと撮像装置１０１の位置及び姿勢との関係を修正する。本実施形態では、関係修正部１５４は、ズレ量の分だけ、仮想座標軸αの配置を修正する。具体的には関係修正部１５４は、演算されたズレ方向及びズレ量で、仮想空間上の撮像装置１０１の位置及び姿勢を動かさないまま、仮想位置２１０及び仮想物体２０１，２０２の表示配置を移動させる。これによって、仮想座標軸α上の撮像装置１０１の位置及び姿勢に対する仮想座標軸α上の仮想物体２０１，２０２の位置及び姿勢が修正される。

関係修正部１５４における処理が終了すると、表示部１０４は、データ格納部１０３に格納されている配置情報と、関係修正部１５４によって修正された、仮想座標軸αと位置姿勢演算部１５２で演算された撮像装置１０１の位置及び姿勢との関係とに基づいて、従前の方法で、仮想物体２０１，２０２をディスプレイ１４０に表示する。したがって、仮想座標軸αと撮像装置１０１の位置及び姿勢との関係が修正されると、ディスプレイ１４０で表示される仮想物体２０１，２０２等の配置も修正される。なお、表示部１０４は、関係設定部１５３によって、仮想座標軸αと位置姿勢演算部１５２で演算された撮像装置１０１の位置及び姿勢との関係が設定された段階で、データ格納部１０３に格納されている配置情報と当該設定された関係とに基づいて、仮想物体２０１，２０２をディスプレイ１４０に表示してもよい。

関係修正部１５４は、位置姿勢演算部１５２で演算された撮像装置１０１の位置及び姿勢を修正してもよい。具体的には、関係修正部１５４は、演算されたズレ量を打ち消すように、仮想空間における撮像装置１０１の位置及び姿勢を移動させることとしてもよい。関係修正部１５４は、実空間に対する仮想座標軸αの配置と位置姿勢演算部１５２で演算された撮像装置１０１の位置及び姿勢との両方を修正してもよい。

次に、図８を参照して、映像表示システム１００における仮想物体２０１，２０２の表示配置を修正する工程について説明する。図８は、仮想物体２０１，２０２の表示配置を修正する工程を示すフローチャートである。なお、以下の処理中、撮像装置１０１、移動検出部１０２による上述した処理は、順次行われている。

ステップＳ１０１において、ユーザが、作業対象物１２１に、指標部材１２３（マーカ１２５を含む指標１２４）を配置する。続いて、工程はステップＳ１０２へ進む。

ステップＳ１０２において、表示制御部１５０が、基準マーカ又はエッジ１３１，１３３に応じて、仮想座標軸αを実空間に対応付ける。続いて、工程はステップＳ１０３へ進む。

ステップＳ１０３において、ユーザが、作業位置へ移動する。続いて、工程はステップＳ１０４へ進む。

ステップＳ１０４において、ユーザが、操作部１０５を操作し、仮想物体２０１，２０２の表示配置の修正を指示する。続いて、ステップＳ１０５へ工程が進む。

ステップＳ１０５において、表示制御部１５０が、関係設定部１５３及び関係修正部１５４によって、エッジ検出とマーカ１２５の検出とに基づいて仮想物体２０１，２０２の表示配置の設定処理を行う。

次に、図９を参照して、表示制御部１５０による仮想物体２０１，２０２の表示配置の制御処理について説明する。図９は、表示制御部１５０によって行われる制御処理を示すフローチャートである。

ステップＳ１１１において、表示制御部１５０は、基準配置設定部１５１によって、撮像装置１０１の撮像画像からエッジ１３１，１３３及び０ｃｍを示すマーカ１２５を検出する。エッジ１３１，１３３のみが検出される方式であってもよい。続いて、表示制御部１５０は、ステップＳ１１２へ処理を進める。

ステップＳ１１２において、表示制御部１５０は、基準配置設定部１５１によって、ステップＳ１１１における検出結果と、データ格納部１０３に格納されている情報とから、実空間における作業対象物１２１の配置に仮想座標軸αを対応付ける。続いて、表示制御部１５０は、ステップＳ１１３へ処理を進める。

ステップＳ１１３において、表示制御部１５０は、位置姿勢演算部１５２によって、撮像装置１０１の位置及び姿勢を演算する。演算結果は、データ格納部１０３に格納される。続いて、表示制御部１５０は、ステップＳ１１４へ処理を進める。

ステップＳ１１４において、表示制御部１５０は、表示部１０４によって、仮想映像をディスプレイ１４０に表示する。この際、表示部１０４は、データ格納部１０３を参照して、仮想物体２０１，２０２を上記ディスプレイ１４０に表示する位置を演算する。続いて、表示制御部１５０は、ステップＳ１１５へ処理を進める。

ステップＳ１１５において、表示制御部１５０は、操作部１０５から仮想物体２０１，２０２の表示配置の修正指示を受けたか否か判断する。修正指示を受けた場合、表示制御部１５０は、ステップＳ１１６へ処理を進める。修正指示を受けていない場合、表示制御部１５０は、ステップＳ１１７へ処理を進める。

ステップＳ１１６において、表示制御部１５０は、関係設定部１５３、関係修正部１５４によって、ズレ修正処理を行う。ズレ修正処理によって、ユーザの移動量に応じて蓄積した移動検出の誤差による仮想物体２０１，２０２の表示配置のズレが修正される。表示制御部１５０は、ズレ修正処理が終了すると、ステップＳ１１３へ処理を進める。

ステップＳ１１７において、表示制御部１５０は、制御処理を終了するか判断する。制御処理を終了しない場合は、ステップＳ１１３へ処理を進める。制御処理を終了する場合は、処理を終了する。

次に、図１０を参照して、表示制御部１５０によるズレ修正処理について詳細に説明する。図１０は、表示制御部１５０によって行われるズレ修正処理を示すフローチャートである。

ステップＳ１２１において、表示制御部１５０は、関係設定部１５３によって、撮像装置１０１の撮像画像（第１画像）から作業対象物１２１のエッジ１３１，１３２を検出する。続いて、表示制御部１５０は、ステップＳ１２２へ処理を進める。

ステップＳ１２２において、表示制御部１５０は、関係設定部１５３によって、ステップＳ１２１で検出されたエッジ１３１，１３３及び位置姿勢演算部１５２で演算された撮像装置１０１の位置を通る平面Ｐ１，Ｐ２を算出する。続いて、表示制御部１５０は、ステップＳ１２３へ処理を進める。

ステップＳ１２３において、表示制御部１５０は、関係設定部１５３によって、対応する仮想エッジ２０３，２０４が平面Ｐ１，Ｐ２上に配置されるように、平面Ｐ１，Ｐ２に対して仮想座標軸αを回転させ、平行移動させる。続いて、表示制御部１５０は、ステップＳ１２４へ処理を進める。

ステップＳ１２４において、表示制御部１５０は、関係修正部１５４によって、撮像装置１０１の撮像画像（第２画像）から、作業位置におけるマーカ１２５を検出する。続いて、表示制御部１５０は、ステップＳ１２５へ処理を進める。

ステップＳ１２５において、表示制御部１５０は、関係修正部１５４によって、仮想位置２１０とマーカ１２５との位置関係を演算する。関係修正部１５４は、マーカ１２５の検出結果と、撮像装置１０１が該マーカ１２５を撮像した際の撮像装置１０１の位置及び姿勢とから、対応する仮想位置２１０と撮像したマーカ１２５との位置関係を演算する。続いて、表示制御部１５０は、ステップＳ１２６へ処理を進める。

ステップＳ１２６において、表示制御部１５０は、関係修正部１５４によって、仮想座標軸αと位置姿勢演算部１５２で演算された撮像装置１０１の位置及び姿勢との関係を修正する。ステップＳ１２６では、関係修正部１５４は、ステップＳ１２５において演算された、仮想位置２１０とマーカ１２５との位置関係から、仮想座標軸αと撮像装置１０１の位置及び姿勢との関係を修正する。表示制御部１５０は、ステップＳ１２６の処理が終了すると、ズレ修正処理を終了する。

本実施形態では、表示制御部１５０は、図９で示したように、操作部１０５の操作に応じた修正指示を受けてズレ修正処理を開始する。しかし、表示制御部１５０は、ズレ修正処理を行うトリガーは操作部１０５による修正指示でなくともよい。例えば、表示制御部１５０は、所定時間毎にズレ修正処理を行うように設定されてもよい。

次に、本実施形態に係る映像表示システム１００の主な作用及び効果について説明する。

映像表示システム１００では、作業対象物１２１のエッジ１３１，１３２とマーカ１２５とが用いられている。このため、作業対象物１２１のエッジ１３１，１３２，１３３，１３４の全体が検出されなくても、映像表示システム１００は作業対象物１２１に対して仮想物体２０１，２０２を正確に表示し得る。映像表示システム１００は、座標軸と位置姿勢演算部で演算された撮像装置の位置及び姿勢との関係を、作業対象物１２１のエッジ１３１，１３２に基づいて設定した後にマーカ１２５に基づいて修正している。エッジ１３１，１３２に基づく位置合わせは、マーカ１２５に基づく位置合わせと比べて処理負荷が低い。したがって、エッジ１３１，１３２による処理で適切に設定されていない次元に関する情報のみがマーカ１２５から取得されればよいため、検出精度が確保されながら処理負荷が低減され得る。

位置姿勢演算部１５２は、移動検出部１０２によって検出された移動から撮像装置１０１の位置及び姿勢を演算している。これによって、映像表示システム１００は、ユーザの移動に追従して映像を表示する。しかし、ユーザの移動量に応じて移動検出部１０２における検出誤差が蓄積するおそれがある。映像表示システム１００は、関係設定部１５３及び関係修正部１５４を有しているため、移動検出部１０２で生じた検出誤差による仮想物体２０１，２０２の表示配置のズレを修正することができる。

関係設定部１５３は、直線状のエッジ１３１，１３２に直線状の仮想エッジ２０３，２０４が沿うように、仮想座標軸αと撮像装置１０１の位置及び姿勢との関係を設定している。関係修正部１５４は、マーカ１２５の検出結果と、位置姿勢演算部１５２で演算された、マーカ１２５を撮像した際の撮像装置１０１の位置及び姿勢と、仮想座標軸αに予め対応付けられた仮想位置２１０とから、仮想エッジ２０３，２０４に平行な方向において、関係設定部１５３によって設定された、仮想座標軸αと撮像装置１０１の位置及び姿勢との関係を修正している。このため、少なくとも、撮像方向に平行な軸周りの回転ズレと、エッジ１３１，１３２に直交する方向成分の位置ズレとが関係設定部１５３によって修正され得る。したがって、関係修正部１５４におけるマーカ１２５を用いた処理の負荷が低減され得る。

関係設定部１５３と関係修正部１５４とが互いに異なる画像に基づいて処理する方式であれば、作業対象物１２１のエッジ１３１，１３２による処理とマーカ１２５による処理とに対してそれぞれ適切な同一解像度の画像を用いて段階的に行うことができる。このため、撮像装置１０１によって撮像される各画像が低解像度であっても、エッジ１３１，１３２とマーカ１２５とをそれぞれ適切に検出できる。例えば、第１画像にエッジ１３１，１３３の検出及びマーカ１２５の認識ができるようにエッジ１３１，１３２及びマーカ１２５を入れることができない場合であっても、エッジ１３１，１３２とマーカ１２５とをそれぞれ適切に検出できる。

なお、上記実施の形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。

例えば、本発明の一実施の形態における映像表示システムは、本実施形態における処理を行うコンピュータとして機能してもよい。図１１は、本発明の一実施の形態に係る映像表示システムのハードウェア構成の一例を示す図である。上述した映像表示システム１００は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。また、映像表示システム１００は、上記以外にも、撮像装置１０１、移動検出に用いられるセンサ等のハードウェアも備える。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。映像表示システム１００のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

映像表示システム１００における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサ１００１が演算を行い、通信装置１００４による通信や、メモリ１００２及びストレージ１００３におけるデータの読み出し及び／又は書き込みを制御することで実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、表示部１０４、基準配置設定部１５１、位置姿勢演算部１５２、関係設定部１５３、及び関係修正部１５４などは、プロセッサ１００１で実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ１００３及び／又は通信装置１００４からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、表示部１０４、基準配置設定部１５１、位置姿勢演算部１５２、関係設定部１５３、及び関係修正部１５４は、メモリ１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサ１００１で実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本発明の一実施の形態に係る方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ１００２及び／又はストレージ１００３を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。映像表示システム１００は、通信装置１００４による外部との通信によってデータ格納部１０３の内部のデータを書き換えてもよい。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１やメモリ１００２などの各装置は、情報を通信するためのバス１００７で接続される。バス１００７は、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、映像表示システム１００は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つで実装されてもよい。

以上、本発明について詳細に説明したが、当業者にとっては、本発明が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本発明は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本発明に対して何ら制限的な意味を有するものではない。

例えば、基準配置設定部１５１によって基準点Ｍと仮想座標軸αとの対応付けを行わずに、作業位置で関係設定部１５３と関係修正部１５４とによって、仮想座標軸αを作業対象物１２１に対応付けてもよい。なお、基準配置設定部１５１で、基準点Ｍと仮想座標軸αとの予め対応付けを行うことで、仮想物体の表示の精度が向上され得る。

関係設定部１５３は、平面Ｐ１，Ｐ２を演算せずに、第１画像上の２次元空間で作業対象物１２１のエッジ１３１，１３２上に仮想エッジ２０３，２０４が配置されるように、仮想座標軸αと撮像装置１０１の位置及び姿勢との関係を修正してもよい。

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本明細書で説明したデータは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

また、本明細書で説明したデータ、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。上述したパラメータに使用する名称はいかなる点においても限定的なものではない。

本明細書で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定（judging）、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up)（例えば、テーブル、データベースまたは別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。

本明細書で使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

「含む(include)」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

本開示の全体において、文脈から明らかに単数を示したものではなければ、複数のものを含むものとする。

１００…映像表示システム、１０１…撮像装置、１０２…移動検出部、１０３…データ格納部、１０４…表示部、１２１…作業対象物、１２５…マーカ、１３１、１３２…エッジ、１５２…位置姿勢演算部、１５３…関係設定部、１５４…関係修正部、２０１，２０２…仮想物体、２０３，２０４…仮想エッジ、２１０…仮想位置、α…仮想座標軸。

Claims

実空間に配置された実物体に対応して仮想物体を表示する映像表示システムであって、
前記実空間を撮像する撮像装置と、
前記撮像装置の位置及び姿勢を演算する位置姿勢演算部と、
仮想空間における座標軸上の仮想物体の配置情報を予め格納している格納部と、
前記撮像装置によって撮像された第１画像から、前記実空間に配置された実物体のエッジを検出し、前記実物体のエッジの検出結果と、前記位置姿勢演算部で演算された、前記実物体のエッジを撮像した際の前記撮像装置の位置及び姿勢、前記座標軸に予め対応付けられた仮想エッジとから、前記座標軸と前記撮像装置の位置及び姿勢との関係を設定する関係設定部と、
前記撮像装置によって撮像された第２画像から、前記実空間において前記実物体に対応して予め配置されたマーカを検出し、前記マーカの検出結果と、前記位置姿勢演算部で演算された、前記マーカを撮像した際の前記撮像装置の位置及び姿勢と、前記座標軸に予め対応付けられた仮想位置とから、前記関係設定部によって設定された、前記座標軸と前記撮像装置の位置及び姿勢との関係を修正する関係修正部と、
前記格納部に格納されている前記配置情報と、前記関係修正部によって修正された、前記座標軸と前記位置姿勢演算部で演算された前記撮像装置の位置及び姿勢との関係とから、前記仮想物体を表示する表示部と、を備える、映像表示システム。
前記関係設定部は、第１方向について前記座標軸と前記撮像装置の位置及び姿勢との関係を設定し、
前記関係修正部は、前記第１方向とは異なる第２方向について、前記座標軸と前記撮像装置の位置及び姿勢との関係を修正する、請求項１に記載の映像表示システム。
前記第２画像は、前記第１画像と異なる、請求項１又は２に記載の映像表示システム。
前記撮像装置の移動を検出する移動検出部を更に備え、
前記位置姿勢演算部は、前記移動検出部によって検出された前記移動から前記撮像装置の位置及び姿勢を演算する、請求項１〜３のうちいずれか１項に記載の映像表示システム。
前記実物体のエッジ及び前記仮想エッジは、直線状のエッジであり、
前記関係設定部は、前記仮想エッジが前記実物体のエッジに沿うように、前記座標軸と前記撮像装置の位置及び姿勢との関係を設定し、
前記関係修正部は、前記マーカの検出結果と、前記位置姿勢演算部で演算された、前記マーカを撮像した際の前記撮像装置の位置及び姿勢と、前記座標軸に予め対応付けられた仮想位置とから、前記仮想エッジに平行な方向において、前記関係設定部によって設定された、前記座標軸と前記撮像装置の位置及び姿勢との関係を修正する、請求項１〜４のうちいずれか１項に記載の映像表示システム。