JP2020030748A - 複合現実システム、プログラム、携帯端末装置、及び方法 - Google Patents

複合現実システム、プログラム、携帯端末装置、及び方法 Download PDF

Info

Publication number
JP2020030748A
JP2020030748A JP2018157410A JP2018157410A JP2020030748A JP 2020030748 A JP2020030748 A JP 2020030748A JP 2018157410 A JP2018157410 A JP 2018157410A JP 2018157410 A JP2018157410 A JP 2018157410A JP 2020030748 A JP2020030748 A JP 2020030748A
Authority
JP
Japan
Prior art keywords
feature point
virtual
real space
point sets
mixed reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018157410A
Other languages
English (en)
Other versions
JP6640294B1 (ja
Inventor
修一 倉林
Shuichi Kurabayashi
修一 倉林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cygames Inc
Original Assignee
Cygames Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cygames Inc filed Critical Cygames Inc
Priority to JP2018157410A priority Critical patent/JP6640294B1/ja
Priority to CN201980069925.2A priority patent/CN112912936A/zh
Priority to PCT/JP2019/032969 priority patent/WO2020040277A1/ja
Application granted granted Critical
Publication of JP6640294B1 publication Critical patent/JP6640294B1/ja
Publication of JP2020030748A publication Critical patent/JP2020030748A/ja
Priority to US17/181,456 priority patent/US20210174599A1/en
Priority to US18/501,702 priority patent/US20240071016A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/98—Accessories, i.e. detachable arrangements optional for the use of the video game device, e.g. grip supports of game controllers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】屋外などの比較的広域な空間を対象として、ユーザに、その場所に応じたＭＲを体験させることが可能な複合現実システムを提供する。【解決手段】本発明は、所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を含み、複合現実画像を該ディスプレイに表示するための複合現実システムであって、複合現実システムは、所定の実空間内に配置された複数の特徴点集合を含み、携帯端末装置は、撮影装置により撮影された特徴点集合の各々を認識し、該特徴点集合の各々の配置位置姿勢情報及び該特徴点集合の各々に対する携帯端末装置の相対位置姿勢情報に基づいて、実空間における撮影装置の位置及び撮影方向に対応する仮想空間における仮想カメラの視点位置を決定し、実空間の撮影画像に該視点位置に応じた仮想オブジェクトの画像を重畳させた複合現実画像を生成する。【選択図】図１

Description

本発明は、複合現実システム等に関し、特に所定の実空間内にいるユーザに対して複合現実を体験させることができる複合現実システム等に関する。
近年、現実世界と仮想世界をリアルタイムかつシームレスに融合させる技術として複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術は、これを体験するユーザに対して、あたかもその場に仮想の物体が存在するかのような体験を行わせることができる。ＭＲ技術については、ユーザに違和感を与えることなく仮想空間の物体を表示させるような、ＭＲそのものを高精度に実行する技術が開発されている。例えば特許文献１は、複合現実環境において実空間の環境をリアルタイムに認識することができるシステムを開示している。
特開２０１７−２２７９７５号公報
Francisco J. Romero-Ramirez, Rafael Munoz-Salinas, Rafael Medina-Carnicer, "Speeded up detection of squared fiducial markers," Image and Vision Computing, Volume 76, 2018, Pages 38-47, ISSN 0262-8856, DOI: 10.1016/j.imavis.2018.05.004. David G Lowe, "Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, vol.50, No. 2, 2004, pp.91-110. Ethan Rublee, Vincent Rabaud, Kurt Konolige and Gary Bradski, "ORB: and efficient alternative to SIFT or SURF," IEEE International Conference on Computer Vision, 2011. Genshiro Kitagawa, "Monte Carlo Filter and Smoother for Non-Gaussian Nonlinear State Space Models," Journal of Computational and Graphical Statistics, Vol. 5, No. 1 (Mar., 1996), pp. 1-25 Shuichi Kurabayashi, Hidetoshi Ishiyama, and Masaru Kanai, "Sensing By Overlaying: a Practical Implementation of a Multiplayer Mixed-Reality Gaming System by Integrating a Dense Point Cloud and a Real-Time Camera," In Proceedings of the 2016 IEEE International Symposium on Multimedia (ISM), pages 636-639, San Jose, CA, DOI: 10.1109/ISM.2016.0136, (2016)
従来、ＭＲ技術が対象とするものはセンサの観測範囲内での実空間であり、広域空間でＭＲを実現することは難しかった。例えば、屋外において、ビル群の間を仮想的な巨大ロボットが飛行するようなＭＲを実現することは難しかった。
本発明は、このような課題を解決するためになされたものであり、屋外などの比較的広域な空間を対象として、ユーザに、その場所に応じたＭＲを体験させることが可能な複合現実システム等を提供することを主目的とする。
上記の目的を達成するために、本発明の一態様としてのシステムは、所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を含み、実空間の撮影画像に実空間に対応する仮想空間に配置される仮想オブジェクトの画像を重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムであって、前記複合現実システムは、前記所定の実空間内に配置された複数の特徴点集合を含み、該特徴点集合は、各々を識別可能な識別可能情報を含み、該複数の特徴点集合のうちの少なくとも３つの該特徴点集合は予め定められた位置関係を有するように配置され、前記携帯端末装置は、予め取得された前記所定の実空間内に存在する実オブジェクトに対応するものであり仮想空間を定めるものである第１の仮想オブジェクトのデータと該実オブジェクトに対応しない仮想空間における第２の仮想オブジェクトのデータとを記憶するとともに、前記所定の実空間に配置された前記特徴点集合の各々の仮想空間における配置位置姿勢情報を記憶し、前記撮影装置により撮影された前記特徴点集合の各々を認識し、認識した前記特徴点集合の一部又は全部の各々の前記識別可能情報から取得された該特徴点集合の各々の前記配置位置姿勢情報、及び該特徴点集合の形状及び大きさから決定される該特徴点集合の各々に対する前記携帯端末装置の相対位置姿勢情報に基づいて、実空間における前記撮影装置の位置及び撮影方向に対応する仮想空間における仮想カメラの視点位置を決定し、前記第１の仮想オブジェクトのデータ、前記第２の仮想オブジェクトのデータ、及び前記視点位置に基づいて、実空間の撮影画像に該視点位置に応じた前記第２の仮想オブジェクトの画像を重畳させた複合現実画像を生成する、ことを特徴とする。
また、本発明において好ましくは、前記携帯端末装置は、前記複合現実画像を生成するにあたって、前記仮想カメラの視野範囲内に前記第１の仮想オブジェクトと前記第２の仮想オブジェクトが重複する場合において、該第２の仮想オブジェクトの前記視点位置からの奥行距離が該第１の仮想オブジェクトよりも大きい場合、該重複した部分が除かれた該第２の仮想オブジェクトの画像を重畳させた複合現実画像を生成する。
また、本発明において好ましくは、前記複合現実システムは、５以上の前記特徴点集合を含み、前記携帯端末装置は、所定時間ごとに、前記撮影装置により撮影された前記特徴点集合の各々を認識し、前記視点位置を決定し、前記複合現実画像を生成する。
また、本発明において好ましくは、前記複合現実システムは、前記所定の実空間に配置された４つの前記特徴点集合を含み、該特徴点集合の各々は、実空間上の仮想的な矩形の４つの頂点位置に対応する位置関係を有し、かつ予め定められた垂直方向の距離及び予め定められた水平方向の距離離れて配置される。
また、本発明において好ましくは、１又は複数の前記特徴点集合が、水平方向に離れて設置された複数の棒状体の各々に、固定して取り付けられる。
また、本発明において好ましくは、前記特徴点集合の各々は、光を透過する材料で形成される透過部材に固定して取り付けられる。
また、本発明において好ましくは、前記特徴点集合の各々は、ワイヤーを用いて固定して取り付けられる。
また、本発明において好ましくは、前記特徴点集合は、ポスター、絵、写真、ＡｒＵｃｏマーカ、ＡＲマーカ、２次元コード、又はデータマトリックスである。
上記の目的を達成するために、本発明の一態様としてのプログラムは、所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を含み、実空間の撮影画像に実空間に対応する仮想空間に配置される仮想オブジェクトの画像を重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムにおいて、該携帯端末装置に実行させるプログラムであって、前記複合現実システムは、前記所定の実空間内に配置された複数の特徴点集合を含み、該特徴点集合は、各々を識別可能な識別可能情報を含み、該複数の特徴点集合のうちの少なくとも３つの該特徴点集合は予め定められた位置関係を有するように配置され、前記プログラムは、前記携帯端末装置に、前記撮影装置により撮影された前記特徴点集合の各々を認識するステップと、認識した前記特徴点集合の一部又は全部の各々の前記識別可能情報から取得された該特徴点集合の各々が配置された仮想空間における配置位置姿勢情報、及び該特徴点集合の形状及び大きさから決定される該特徴点集合の各々に対する前記携帯端末装置の相対位置姿勢情報に基づいて、実空間における前記撮影装置の位置及び撮影方向に対応する仮想空間における仮想カメラの視点位置を決定するステップと、予め取得された前記所定の実空間内に存在する実オブジェクトに対応するものであり仮想空間を定めるものである第１の仮想オブジェクトのデータ、該実オブジェクトに対応しない仮想空間における第２の仮想オブジェクトのデータ、及び前記視点位置に基づいて、実空間の撮影画像に該視点位置に応じた前記第２の仮想オブジェクトの画像を重畳させた複合現実画像を生成するステップと、を実行させることを特徴とする。
また、上記の目的を達成するために、本発明の一態様としての携帯端末装置は、所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を含み、実空間の撮影画像に実空間に対応する仮想空間に配置される仮想オブジェクトの画像を重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムにおける携帯端末装置であって、前記複合現実システムは、前記所定の実空間内に配置された複数の特徴点集合を含み、該特徴点集合は、各々を識別可能な識別可能情報を含み、該複数の特徴点集合のうちの少なくとも３つの該特徴点集合は予め定められた位置関係を有するように配置され、前記携帯端末装置は、予め取得された前記所定の実空間内に存在する実オブジェクトに対応するものであり仮想空間を定めるものである第１の仮想オブジェクトのデータと該実オブジェクトに対応しない仮想空間における第２の仮想オブジェクトのデータとを記憶するとともに、前記所定の実空間に配置された前記特徴点集合の各々の仮想空間における配置位置姿勢情報を記憶し、前記撮影装置により撮影された前記特徴点集合の各々を認識し、認識した前記特徴点集合の一部又は全部の各々の前記識別可能情報から取得された該特徴点集合の各々の前記配置位置姿勢情報、及び該特徴点集合の形状及び大きさから決定される該特徴点集合の各々に対する前記携帯端末装置の相対位置姿勢情報に基づいて、実空間における前記撮影装置の位置及び撮影方向に対応する仮想空間における仮想カメラの視点位置を決定し、前記第１の仮想オブジェクトのデータ、前記第２の仮想オブジェクトのデータ、及び前記視点位置に基づいて、実空間の撮影画像に該視点位置に応じた前記第２の仮想オブジェクトの画像を重畳させた複合現実画像を生成する、ことを特徴とする。
また、上記の目的を達成するために、本発明の一態様としての方法は、所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を含み、実空間の撮影画像に実空間に対応する仮想空間に配置される仮想オブジェクトの画像を重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムにおいて、該携帯端末装置により実行される方法であって、前記複合現実システムは、前記所定の実空間内に配置された複数の特徴点集合を含み、該特徴点集合は、各々を識別可能な識別可能情報を含み、該複数の特徴点集合のうちの少なくとも３つの該特徴点集合は予め定められた位置関係を有するように配置され、前記撮影装置により撮影された前記特徴点集合の各々を認識するステップと、認識した前記特徴点集合の一部又は全部の各々の前記識別可能情報から取得された該特徴点集合の各々が配置された仮想空間における配置位置姿勢情報、及び該特徴点集合の形状及び大きさから決定される該特徴点集合の各々に対する前記携帯端末装置の相対位置姿勢情報に基づいて、実空間における前記撮影装置の位置及び撮影方向に対応する仮想空間における仮想カメラの視点位置を決定するステップと、予め取得された前記所定の実空間内に存在する実オブジェクトに対応するものであり仮想空間を定めるものである第１の仮想オブジェクトのデータ、該実オブジェクトに対応しない仮想空間における第２の仮想オブジェクトのデータ、及び前記視点位置に基づいて、実空間の撮影画像に該視点位置に応じた前記第２の仮想オブジェクトの画像を重畳させた複合現実画像を生成するステップと、を含むことを特徴とする。
また、上記の目的を達成するために、本発明の一態様としてのシステムは、サーバ、並びに所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を含み、実空間の撮影画像に実空間に対応する仮想空間に配置される仮想オブジェクトの画像を重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムであって、前記複合現実システムは、前記所定の実空間内に配置された複数の特徴点集合を含み、該特徴点集合は、各々を識別可能な識別可能情報を含み、該複数の特徴点集合のうちの少なくとも３つの該特徴点集合は予め定められた位置関係を有するように配置され、前記サーバは、予め取得された前記所定の実空間内に存在する実オブジェクトに対応するものであり仮想空間を定めるものである第１の仮想オブジェクトのデータと該実オブジェクトに対応しない仮想空間における第２の仮想オブジェクトのデータとを記憶するとともに、前記所定の実空間に配置された前記特徴点集合の各々の仮想空間における配置位置姿勢情報を記憶し、前記携帯端末装置は、前記撮影装置により撮影された前記特徴点集合の各々を認識し、認識した前記特徴点集合の一部又は全部の各々の前記識別可能情報から取得された該特徴点集合の各々の前記配置位置姿勢情報、及び該特徴点集合の形状及び大きさから決定される該特徴点集合の各々に対する前記携帯端末装置の相対位置姿勢情報に基づいて、実空間における前記撮影装置の位置及び撮影方向に対応する仮想空間における仮想カメラの視点位置を決定し、前記第１の仮想オブジェクトのデータ、前記第２の仮想オブジェクトのデータ、及び前記視点位置に基づいて、実空間の撮影画像に該視点位置に応じた前記第２の仮想オブジェクトの画像を重畳させた複合現実画像を生成する、ことを特徴とする。
また、上記の目的を達成するために、本発明の一態様としてのシステムは、所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を含み、実空間の撮影画像に実空間に対応する仮想空間に配置される仮想オブジェクトの画像を重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムであって、前記複合現実システムは、前記所定の実空間内に配置された複数の特徴点集合を含み、該特徴点集合は、各々を識別可能な識別可能情報を含み、該複数の特徴点集合のうちの少なくとも３つの該特徴点集合は予め定められた位置関係を有するように配置され、前記携帯端末装置は、予め取得された前記所定の実空間内に存在する実オブジェクトに対応するものであり仮想空間を定めるものである第１の仮想オブジェクトのデータと該実オブジェクトに対応しない仮想空間における第２の仮想オブジェクトのデータとを記憶するとともに、前記所定の実空間に配置された前記特徴点集合の各々の仮想空間における配置位置姿勢情報を記憶し、前記撮影装置により撮影された前記特徴点集合の各々を認識し、認識した前記特徴点集合の一部又は全部の各々の前記識別可能情報から取得された該特徴点集合の各々の前記配置位置姿勢情報、及び該特徴点集合の形状及び大きさから決定される該特徴点集合の各々に対する前記携帯端末装置の相対位置姿勢情報に基づいて、前記第１の仮想オブジェクトの位置姿勢情報を決定し、前記第１の仮想オブジェクトのデータ及び前記第２の仮想オブジェクトのデータに基づいて、実空間の撮影画像に該視点位置に応じた前記第２の仮想オブジェクトの画像を重畳させた複合現実画像を生成する、ことを特徴とする。
また、上記の目的を達成するために、本発明の一態様としてのプログラムは、所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を含み、実空間の撮影画像に実空間に対応する仮想空間に配置される仮想オブジェクトの画像を重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムにおいて、該携帯端末装置に実行させるプログラムであって、前記複合現実システムは、前記所定の実空間内に配置された複数の特徴点集合を含み、該特徴点集合は、各々を識別可能な識別可能情報を含み、該複数の特徴点集合のうちの少なくとも３つの該特徴点集合は予め定められた位置関係を有するように配置され、前記プログラムは、前記携帯端末装置に、前記撮影装置により撮影された前記特徴点集合の各々を認識するステップと、認識した前記特徴点集合の一部又は全部の各々の前記識別可能情報から取得された該特徴点集合の各々が配置された仮想空間における配置位置姿勢情報、及び該特徴点集合の形状及び大きさから決定される該特徴点集合の各々に対する前記携帯端末装置の相対位置姿勢情報に基づいて、予め取得された前記所定の実空間内に存在する実オブジェクトに対応するものであり仮想空間を定めるものである第１の仮想オブジェクトの位置姿勢情報を決定するステップと、前記第１の仮想オブジェクトのデータ及び前記実オブジェクトに対応しない仮想空間における第２の仮想オブジェクトのデータに基づいて、実空間の撮影画像に該視点位置に応じた前記第２の仮想オブジェクトの画像を重畳させた複合現実画像を生成するステップと、を実行させることを特徴とする。
本発明によれば、屋外などの比較的広域な空間を対象として、ユーザに、その場所に応じたＭＲを体験させることができる。
本発明の一実施形態の複合現実システムの一部を示す模式図である。 本発明の一実施形態の携帯端末装置のハードウェア構成を示すブロック図である。 本発明の一実施形態の２次元コードを示す図である。 本発明の一実施形態の実空間の一部を示す模式図である。 図４に示す実空間に対応する仮想空間を示す図である。 本発明の一実施形態の携帯端末装置の機能ブロック図である。 第２の仮想オブジェクトの画像の一例である。 実空間の撮影画像に図７に示す第２の仮想オブジェクトの画像を重畳させた複合現実画像の一例である。 本発明の一実施形態の複合現実システムにおける携帯端末装置と特徴点集合群が含む特徴点集合の位置関係を説明する図である。 本発明の一実施形態による複合現実システムの情報処理について示したフローチャートである。 窓ガラスに固定して取り付けられた特徴点集合群３示す図である。 本発明の一実施形態の複合現実システムの全体構成の一例を示す。
以下、図面を参照して、ユーザに対して仮想空間と現実空間とを融合した複合現実空間を提供する複合現実（ＭＲ）システムについて説明する。本明細書においては、説明の便宜上、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成についての重複説明を省略する場合がある。なお各図において同一の符号は、特に言及が無い限り同一又は相当部分を示すものとする。
本実施形態によるＭＲシステムは、例えばスマートフォンの画面を通してユーザが視認する実空間の撮影画像に対して、実空間に対応する仮想空間に配置される仮想空間上のオブジェクトである仮想オブジェクトを重畳させて描画することにより、ユーザにＭＲを体験させる。
図１は、本発明の一実施形態の複合現実システム（ＭＲシステム）１の一部を示す模式図である。本発明の実施形態によるＭＲシステム１は、予め定められた所定の実空間（実空間５０）において実現する。実空間５０は、予め定められた屋外の実空間であり、該空間内には、現実世界におけるオブジェクトである実オブジェクトが存在する。実オブジェクトは、例えば建物、橋、壁などの構造物であり、実空間内に固定されたものである。ただし、移動可能な物を実オブジェクトに含めてもよい。また、実空間５０は、屋外の実空間の代わりに屋内の実空間であってもよいし、屋内の実空間を一部に含んでいてもよい。
ＭＲシステム１は、図１に示すように、携帯端末装置２と、実空間５０内に配置された複数の特徴点集合４を含む特徴点集合群３とを含む。
図２は本発明の一実施形態の携帯端末装置２のハードウェア構成を示すブロック図である。携帯端末装置２は、プロセッサ１１、入力装置１２、表示装置１３、撮影装置１４、記憶装置１５、及び通信装置１６を備える。これらの各構成装置はバス１７によって接続される。なお、バス１７と各構成装置との間には必要に応じてインタフェースが介在しているものとする。本実施形態において、携帯端末装置２はスマートフォンである。ただし、携帯端末装置２は、上記の構成を備える携帯可能な端末であれば、タブレット型コンピュータ、タッチパッド等の接触型入力装置を備えるコンピュータなどの端末とすることができる。
プロセッサ１１は、携帯端末装置２全体の動作を制御する。例えばプロセッサ１１は、ＣＰＵである。なお、プロセッサ１１としては、ＭＰＵ等の電子回路が用いられてもよい。プロセッサ１１は、記憶装置１５に格納されているプログラムやデータを読み込んで実行することにより、様々な処理を実行する。１つの例では、プロセッサ１１は、複数のプロセッサから構成される。
入力装置１２は、携帯端末装置２に対するユーザからの入力を受け付けるユーザインタフェースである。表示装置（ディスプレイ）１３は、プロセッサ１１の制御に従って、アプリケーション画面や撮影装置１４によって撮影された画像などを携帯端末装置２のユーザに表示するものである。本実施形態においては、スマートフォンである携帯端末装置２は入力装置１２としてタッチパネルを備え、タッチパネルは表示装置１３としても機能し、入力装置１２と表示装置１３は一体となった構造である。ただし、入力装置１２と表示装置１３は、別の位置に配置される別個の形態であってもよい。この場合、入力装置１２は、例えばタッチパッド又はボタンなどとすることができ、表示装置１３は、液晶ディスプレイ、有機ＥＬを用いたディスプレイ、又はプラズマディスプレイなどとすることができる。
撮影装置（撮像装置）１４は、実空間の静止画又は動画を撮影（撮像）するものであり、撮影した画像又は動画データを記憶装置１５に格納する。撮影装置１４は、例えばイメージセンサなどから構成されるカメラである。
記憶装置１５は、揮発性メモリであるＲＡＭ及び不揮発性メモリであるＲＯＭを含む、一般的なスマートフォンが備える記憶装置である。記憶装置１５は、外部メモリを含むこともできる。
１つの例では、記憶装置１５は、主記憶装置及び補助記憶装置を含む。主記憶装置は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、プロセッサ１１が情報を処理する際の記憶領域及び作業領域として用いられる。補助記憶装置は、様々なプログラムや、各プログラムの実行に際してプロセッサ１１が使用するデータを格納する。補助記憶装置は、例えばハードディスク装置であるが、情報を格納できるものであればいかなる不揮発性ストレージ又は不揮発性メモリであってもよく、着脱可能なものであっても構わない。補助記憶装置は、例えば、オペレーティングシステム（ＯＳ）、ミドルウェア、アプリケーションプログラム、これらのプログラムの実行に伴って参照され得る各種データなどを格納する。
通信装置１６は、インターネットなどのネットワークを介して他のコンピュータとの間でデータの授受を行う。例えば通信装置１６は、移動体通信や無線ＬＡＮ等の無線通信を行い、ネットワークへ接続する。１つの例では、通信装置１６によって、プログラムをサーバからダウンロードして、記憶装置１５に格納する。ただし、通信装置１６は、イーサネット（登録商標）ケーブル等を用いた有線通信を行ってもよい。他のコンピュータとの間でデータの送受信を行わない場合、携帯端末装置２は通信装置１６を備えなくてもよい。
特徴点集合４は、局所特徴点集合を示すものであり、本実施形態では、特徴点集合４は、ＡｒＵｃｏマーカ（非特許文献１）である。特徴点集合４は、予め実空間５０内に固定して配置される。特徴点集合４の各々は、一意の識別情報（ＩＤ）と紐付けられている。ただし、特徴点集合４の各々は、各々の特徴点集合４を識別可能な識別可能情報を含むものであればよい。識別情報は、識別可能情報の１つの例示である。また、特徴点集合４は、ＡｒＵｃｏマーカに限定されない。
図３は、本発明の一実施形態の特徴点集合４を示す図である。特徴点集合４は、白色と黒色の正方形から構成され、全体として正方形の形状を有する。特徴点集合４の外縁を構成する位置には黒色の正方形が配置される。各々の特徴点集合４は、白色と黒色の正方形の配置位置が異なり、該配置位置に応じたＩＤ（例えばＩＤ番号）が割り当てられる。特徴点集合４は、例えば、表面が平らな金属製の板に顔料を用いて印刷されたもの又は印刷されたものが他の支持物に取り付けられたものであり、太陽光の反射防止のためのコーティングが施される。
特徴点集合４は、特徴点集合４の各々を識別することができるものであり、かつ実空間５０内に固定して配置されるものであればよく、上記の例示に限定されない。特徴点集合４は、特徴点集合４自体のパターンが印刷されたものであってもよいし、特徴点集合４自体のパターンを含むものが印刷されたものであってもよい。特徴点集合４は、例えば一辺１０ｃｍの正方形の形状である。
図１に示すように、特徴点集合群３は、４つの特徴点集合４を含み、特徴点集合４の各々は、水平方向に離れて設置された一対の棒状体４１の各々に、垂直方向に離れて固定して取り付けられる。棒状体４１は、例えば固定式のポール又は柱であり、地面に固定して取り付けられる。特徴点集合群３が含む特徴点集合４の各々は、実空間５０上の仮想的な矩形の４つの頂点位置に対応する位置関係を有し、予め定められた垂直方向の距離及び予め定められた水平方向の距離離れて配置される。仮想的な矩形を構成する２辺は、鉛直方向（垂直方向）及び水平方向に平行であることが好ましい。なお、特徴点集合群３は、複数の特徴点集合４を表すものである。特徴点集合群３は、局所的に存在する複数の特徴点集合４を示すこともできるし、又は撮影装置１４が撮影する１つの撮影画像内に収まる複数の特徴点集合４を示すこともできる。またＭＲシステム１は、複数の特徴点集合群３を含むこともできる。
本実施形態においては、実空間５０は、渋谷駅周辺全域のような、数キロメートル四方の範囲のエリアである。図４は、本発明の一実施形態の実空間５０の一部を示す模式図である。実空間５０は、ビルなどの実オブジェクト５１を含む。
仮想空間６０は実空間５０に対応付けられた仮想的な空間であり、実空間５０上の位置と仮想空間６０上の位置は１対１で対応付けられる。ＭＲシステム１は、仮想空間６０において実空間５０内にある実オブジェクト５１を表す３次元空間データを用いる。したがって、３次元空間データは、実空間５０に対応付けされた仮想空間６０を定めるものであり、実オブジェクト５１の３次元形状を表すものである。３次元空間データは、予め取得されるものであり、各々が仮想空間６０における３次元位置情報を有する基本単位である３次元形状要素から構成される。この基本単位を３次元形状要素と表現する。本実施形態では、３次元形状要素として３次元メッシュを用いる。したがって、３次元空間データは３次元メッシュから構成される。３次元メッシュは、１又は複数のポリゴンから形成され、各々の３次元メッシュを構成するポリゴンの頂点の少なくとも１つは３次元位置情報を有する。ただし、３次元形状要素は、点群データなどとすることもできる。
３次元形状要素が有する３次元位置情報は、実空間５０上の位置情報に対応する仮想空間６０上の位置情報である。ここでの実空間５０上の位置情報は、例えば、緯度、経度、高度、方向を含む６ＤｏＦ（６軸）の値であり、仮想空間６０上の位置情報も、対応する６ＤｏＦの値である。
近年、本実施形態の実空間５０が対象とする比較的広域なエリアの３次元メッシュデータは、様々な企業から提供されており、比較的簡易に精密な３次元メッシュデータを取得することが可能である。
このような３次元メッシュデータは、例えば以下のように予め取得される。最初に、高精度なレーザスキャナを用いることにより、実空間５０内の実オブジェクト５１の３次元形状を示す点群データを予め取得する。図５は、実空間５０に対応付けられた仮想空間６０における点群データの一例を示す。点群データのそれぞれは、例えば３次元座標（ｘ、ｙ、ｚ）を有し、実空間５０に対応付けられた仮想空間６０内に配置される。なお点群データのそれぞれは、色情報を有する色付き点群データである。続いて、既知の方法を用いて、上記のように取得された色付き点群データから各点群を頂点としたポリゴンが形成される。３次元メッシュは、当該ポリゴンから形成される。ただし、３次元空間データを構成する３次元形状要素は、色情報を有する必要はないため、上記例示において、点群データは色情報を有していなくてもよい。他の例では、３次元メッシュは、実空間５０内における複数の撮影画像から、既知の方法を用いて生成される。
図５は、図４に示す実空間５０に対応する仮想空間６０を示し、実空間５０内に存在する実オブジェクト５１に対応する仮想オブジェクトである第１の仮想オブジェクト６１を示す。仮想空間６０に配置されるオブジェクトは、すべて仮想オブジェクトであるが、説明の便宜上、実オブジェクト５１に対応する仮想オブジェクトを第１の仮想オブジェクト６１と呼び、実オブジェクト５１に対応しない仮想オブジェクト、すなわち実空間５０内に存在しない仮想オブジェクトを第２の仮想オブジェクト６２と呼ぶ。したがって、３次元空間データは、第１の仮想オブジェクト６１のデータであり、第１の仮想オブジェクト６１のデータにより仮想空間６０は定められる。本実施形態では、例えば３次元空間データの座標は、仮想空間６０の座標と同義である。
仮想空間６０の位置は、図５に示すような３次元座標（ｘ、ｙ、ｚ）を含む６ＤｏＦを用いて特定される。ただし、図５に示す仮想空間６０上の３次元座標は１つの例示であって、３次元座標の原点はいずれの場所に設定してもよいし、各座標軸はお互いに直交していればいずれの方向としてもよい。或いは、仮想空間６０の位置は、他の座標系を用いて、３次元位置を特定してもよい。
図６は、本発明の一実施形態の携帯端末装置２の機能ブロック図である。携帯端末装置２は、アプリケーション部２１を備える。アプリケーション部２１は、認識部２２、位置決定部２３、画像生成部２４、及び画像表示部２５を備える。本実施形態においては、プロセッサ１１によりプログラムが実行されることによりこれらの機能が実現される。本実施形態においては、各種機能がプログラム読み込みにより実現されるため、１つのパート（機能）の一部を他のパートが有していてもよい。ただし、各機能の一部又は全部を実現するための電子回路等を構成することによりハードウェアによってもこれらの機能は実現してもよい。
携帯端末装置２は、ＯＳがインストールされるとともに、ユーザにＭＲを体験させるための当該ＯＳ上で動作させるアプリケーションがインストールされている。アプリケーション部２１は、当該アプリケーションに対応するものであり、アプリケーションプログラムとして記憶装置１５に記憶される。
記憶装置１５は、実空間５０内に存在する実オブジェクト５１に対応する仮想空間６０における第１の仮想オブジェクト６１のデータと仮想空間６０における第２の仮想オブジェクト６２のデータとを記憶する。本実施形態では、第２の仮想オブジェクト６２のデータも３次元メッシュにより形成され、第２の仮想オブジェクトのデータが含む位置情報は、３次元空間データの座標で表現される又は３次元空間データの座標と紐付けられる。１つの例では、第２の仮想オブジェクト６２は、仮想的なキャラクタ又は仮想的なアイテムである。図７は、第２の仮想オブジェクト６２の画像の一例である。１つの例では、第２の仮想オブジェクト６２のデータは、位置及び時間の少なくとも一方に応じて形状、大きさ、及び向きの少なくとも１つが変化する仮想オブジェクトのデータである。
記憶装置１５は、特徴点集合４の各々のＩＤと、特徴点集合４の各々が配置された、実空間５０上の位置情報に対応する仮想空間６０における配置位置情報とが関連付けられた特徴点集合位置データを記憶する。ここでの配置位置情報は、３次元空間データの座標で表現される又は３次元空間データの座標と紐付けられるものである。また配置位置情報は、正確には配置位置姿勢情報であり、例えば６ＤｏＦ（６軸自由度）の値である。したがって、例えば配置位置情報（配置位置姿勢情報）は、第１の仮想オブジェクト６１の所定の位置（仮想空間６０の原点）を原点とする特徴点集合４の位置姿勢情報である。なお、一般的にＡｒＵｃｏを使用する場合と同様にして、記憶装置１５は、ＡｒＵｃｏを利用するためのソフトウェアモジュールを記憶しており、アプリケーション部２１は、本モジュールを用いて、特徴点集合４の各々とＩＤとを対応付ける。
１つの例では、記憶装置１５は３次元空間データを３次元空間データベースとして機能させるためのプログラムとともに記憶する。例えばこの場合、アプリケーション部２１は、認識した特徴点集合４の各々のＩＤの組み合わせを用いて３次元空間データベースに問い合わせることにより、該ＩＤの組み合わせに応じた３次元空間データを取得する。
アプリケーション部２１は、ユーザ操作などによりアプリケーションが起動すると、撮影装置１４を起動する。認識部２２は、撮影装置１４により撮影された特徴点集合４の各々を認識する。例えば、認識部２２は、特徴点集合４の外縁及び白色と黒色の正方形の配置位置から特徴点集合４を認識するとともに該特徴点集合４のＩＤを認識する。好ましくは、認識部２２は、所定時間ごとに、例えば０．５秒ごとに、撮影装置１４により撮影された特徴点集合４の各々を認識する。
位置決定部２３は、実空間５０における撮影装置１４の位置及び撮影方向に対応する仮想空間６０における仮想カメラの視点位置を決定する。位置決定部２３が決定する仮想カメラの視点位置は、例えば仮想空間６０上に６ＤｏＦ（６軸自由度）で表される。例えば、仮想カメラの画角は、実際の撮影装置１４の画角に応じて決定される。
１つの例では、アプリケーション部２１は、撮影装置１４が所定の数量以上の特徴点集合４を撮影しているか否かを判定し、撮影装置１４が所定の数量以上の特徴点集合４を撮影していると判定した場合、位置決定部２３は、仮想カメラの視点位置を決定する。例えば、アプリケーション部２１は、認識部２２が３つ以上の特徴点集合４を認識した場合、位置決定部２３は、仮想カメラの視点位置を決定する。
位置決定部２３は、認識した特徴点集合４のＩＤと記憶装置１５が記憶する特徴点集合位置データとを用いて、該特徴点集合４が配置された配置位置情報を取得する。また位置決定部２３は、認識した特徴点集合４の形状及び大きさから該特徴点集合４に対する携帯端末装置２の相対位置を示す相対位置情報を決定する。相対位置情報は、正確には相対位置姿勢情報であり、例えば相対位置としての６ＤｏＦを含む情報であり、特徴点集合４に対する携帯端末装置２（撮影装置１４）の３次元位置及び向いている方向を含む。したがって、例えば相対位置情報（相対位置姿勢情報）は、仮想カメラの位置を原点とする特徴点集合４の位置姿勢情報である。位置決定部２３は、認識した特徴点集合４の各々について、配置位置情報を取得し、携帯端末装置２と特徴点集合４との相対位置を示す相対位置情報を決定する。位置決定部２３は、取得した配置位置情報及び決定した相対位置情報に基づいて、仮想カメラの視点位置（６ＤｏＦ）を決定する。
１つの例では、位置決定部２３は、認識した特徴点集合４の各々についての配置位置情報及び相対位置情報を用いて、仮の仮想カメラの視点位置（６ＤｏＦ）を各々算出する。位置決定部２３は、算出された複数の６ＤｏＦの平均値を用いて、仮想カメラの視点位置を決定する。或いは、位置決定部２３は、算出された複数の６ＤｏＦの中央値を用いて、仮想カメラの視点位置を決定する。或いは、位置決定部２３は、算出された複数の６ＤｏＦをパーティクルフィルタ（非特許文献４）などの推定モデルに入力することにより、仮想カメラの視点位置を決定する。
１つの例では、位置決定部２３は、上記の例示の代わりに、又は追加して、既知の特徴点集合４の配置関係を用いて、仮想カメラの視点位置を決定する。ここで、特徴点集合４の各々は、予め定められた垂直方向及び水平方向の距離離れて配置されるため、一の特徴点集合４の位置から、他の特徴点集合４の位置を導き出すことができる。１つの例では、位置決定部２３は、認識した特徴点集合４の各々について相対位置情報を決定すると、認識した特徴点集合４により構成される第１の仮想的な矩形を決定する。一方、位置決定部２３は、認識した特徴点集合４の各々についての配置位置情報を取得し、取得した配置位置情報から構成される第２の仮想的な矩形を決定する。位置決定部２３は、第２の仮想的な矩形の配置位置情報と、第２の仮想的な矩形に対する第１の仮想的な矩形の形状及び大きさとを用いて、仮想カメラの視点位置を決定する。
他の例では、位置決定部２３は、仮の仮想カメラの視点位置を一の特徴点集合４の配置位置情報及び相対位置情報を用いて算出された６ＤｏＦとした場合、該特徴点集合４から導き出した他の特徴点集合４の位置と、撮影装置１４による撮影画像から特定される他の特徴点集合４の位置との差分を算出する。位置決定部２３は、算出された６ＤｏＦの各々のうち、算出した差分が所定範囲内であった６ＤｏＦを抽出し、該６ＤｏＦの平均値若しくは中央値を用いて、又は該６ＤｏＦを既知の推定モデルに入力して、仮想カメラの視点位置を決定する。或いは、位置決定部２３は、算出された６ＤｏＦの各々に対して、算出した差分に応じて重み付けを行い、重み付けを行った６ＤｏＦの平均値若しくは中央値を用いて、又は該６ＤｏＦを既知の推定モデルに入力して、仮想カメラの視点位置を決定する。或いは、位置決定部２３は、算出されたＤｏＦに基づいて仮想カメラの視点位置を決定した後、既知の特徴点集合群３の配置関係を用いて、当該仮想カメラの視点位置を補正する。
１つの例では、位置決定部２３は、特徴点集合４に対する携帯端末装置２の相対位置を以下のように決定する。特徴点集合４の各々の大きさ及び形状は、予め定められている。位置決定部２３は、既知の方法を用いて、特徴点集合４を画像として認識し、特徴点集合４の輪郭を認識し、特徴点集合座標系からカメラ座標系へ変換するための座標変換行列を算出する。位置決定部２３は、算出された座標変換行列を用いて、撮影装置１４による撮影画像中の特徴点集合４のカメラ座標系における位置及び姿勢を算出し、特徴点集合４の撮影装置１４に対する相対的な位置（６ＤｏＦ）を決定する。
１つの例では、位置決定部２３は、特徴点集合４に対する携帯端末装置２の相対位置を以下のように決定する。位置決定部２３は、撮像された画像中に含まれる対象物の検出のために回転や移動に強いロバストな特徴量である局所特徴量を用いた既知の方法（非特許文献２、３）を用いる。本例示において、記憶装置１５は、特徴点集合４の各々のテンプレート画像を特徴点集合４のＩＤに関連付けて記憶する。位置決定部２３は、局所特徴量を用いて、テンプレート画像と撮影装置１４による撮影画像間の射影（回転、拡大縮小、変形など）を求めることにより、相対的な位置（６ＤｏＦ）を決定する。ここで、局所特徴量とは、点、エッジ、小さいイメージ・パッチなど、画像内に見られるパターンや際立つ構造のことを指す。具体的には、テンプレート画像の四隅の点と、局所特徴量を用いて求めたホモグラフィ行列を利用して、射影を推定する。ホモグラフィ行列とは、ある平面を、射影変換を用いて別の平面に射影する際のパラメータを指す。
仮想カメラの視点位置は、６ＤｏＦを用いて算出され決定されるが、同等の情報を含む他のフォーマットの位置情報を用いてもよい。
画像生成部２４は、記憶装置１５が記憶する第１の仮想オブジェクト６１のデータ及び第２の仮想オブジェクト６２のデータ、並びに位置決定部２３が決定した仮想カメラの視点位置に基づいて、実空間５０の撮影画像に該視点位置に応じた第２の仮想オブジェクト６２の画像を重畳させた複合現実画像を生成する。画像表示部２５は、生成された複合現実画像を含むアプリケーション画面を表示装置１３に表示する。
１つの例では、画像生成部２４は、位置決定部２３が決定した仮想カメラの視点位置に対応する第１の仮想オブジェクト６１のデータ及び第２の仮想オブジェクト６２のデータを読み込み、実空間５０の撮影画像に該視点位置に応じた第２の仮想オブジェクト６２の画像を重畳させた複合現実画像を生成する。複合現実画像の生成にあたっては、特許文献１や非特許文献５に示すような既知の方法を用いることができる。
図８は、実空間５０の撮影画像に図７に示す第２の仮想オブジェクト６２の画像を重畳させた複合現実画像の一例である。画像生成部２４は、仮想カメラの視野範囲内に第１の仮想オブジェクト６１と第２の仮想オブジェクト６２が重複する場合において、第２の仮想オブジェクト６２の仮想カメラの視点位置からの奥行距離が第１の仮想オブジェクト６１よりも大きい場合、該重複した部分が除かれた第２の仮想オブジェクト６２の画像を重畳させた複合現実画像を生成する。例えば、画像生成部２４は、第１の仮想オブジェクト６１についてはインビジブルなメッシュとして描画処理を行い、第２の仮想オブジェクト６２については通常の描画処理を実行する。これにより、上記重複した部分においては、第２の仮想オブジェクト６２よりも仮想カメラの視点位置が近い第１の仮想オブジェクト６１のインビジブルな描画処理が実行されることになる。なお、仮想カメラの視野範囲は、撮影装置１４の画角に応じて決定される。
図８は、一部が削られて表示される第２の仮想オブジェクト６２を示す。図８において、第２の仮想オブジェクト６２は実オブジェクト５１であるビルの向こう側に存在するように表示されていることが確認できる。
１つの例では、画像生成部２４は、所定のフレームレートで複合現実画像を生成することにより、ＭＲ動画を生成する。１つの例では、撮影装置１４が特徴点集合４を認識しない場合や仮想カメラの視点位置が決定されない場合、画像表示部２５は、実空間５０の撮影画像をそのまま複合現実画像として表示する。
本実施形態では、アプリケーション部２１の各部の動作から、ＭＲシステム１は、撮影装置１４が撮影する１つの撮影画像内に収まる少なくとも３つの特徴点集合４を含む必要がある。特徴点集合群３が含む特徴点集合４のうち仮想的な矩形の隣接する頂点位置に対応する２つの特徴点集合４の垂直方向の距離及び水平方向の距離は、該特徴点集合群３から既定距離離れたときの撮影装置１４の画角に基づいて決定される。
図９は、本発明の一実施形態のＭＲシステム１における携帯端末装置２と特徴点集合群３が含む特徴点集合４の位置関係を説明する図である。図９において、距離ｈは棒状体４１に固定された特徴点集合４間の距離を表し、距離ｗは、一対の棒状体４１の上側に固定された特徴点集合間４の距離又は下側に固定された特徴点集合間４の距離を表す。距離ｄは、特徴点集合群３からの撮影装置１４（携帯端末装置２）の距離を表す。特徴点集合４間の距離は、例えば特徴点集合４の中心間の距離であり、特徴点集合群３からの距離は、例えば特徴点集合群３が含む特徴点集合４が構成する仮想的な矩形（平面）からの距離である。例えば距離ｄは、ＭＲシステム１がＭＲ体験を得ようとするユーザに対して推奨する該ユーザの特徴点集合群３からの距離である。
１つの例では、撮影装置１４の垂直画角がα度、水平画角がβ度の場合、距離ｈの最大値ｈmaxと距離ｗの最大値ｗmaxは、各々以下の式により決定される。
Figure 2020030748

Figure 2020030748
（１）
ｈ≦ｈmax、ｗ≦ｗmaxとなるように各特徴点集合４を配置することにより、撮影装置１４が特徴点集合群３から距離ｄ離れたときに、撮影装置１４は、１つの撮影画像内に特徴点集合群３が含む特徴点集合４を収めることが可能となる。位置決定部２３がより精度よく位置を算出するためには、特徴点集合４間の距離を大きくすることが好ましいため、ｈ＝ｈmax、ｗ＝ｗmaxとなるように各特徴点集合４を配置することが好ましい。１つの例では、ｄ＝２ｍ、α＝６３度、β＝５０度の場合、ｈ＝１．２ｍ、ｗ＝０．９ｍである。
次に、本発明の一実施形態によるＭＲシステム１の情報処理について図１０に示したフローチャートを用いて説明する。図１０に示す情報処理は、プログラムを携帯端末装置２に実行させることで実現される。本処理においては、携帯端末装置２を持っているユーザは実空間５０内におり、ユーザによりアプリケーション部２１の機能を含むアプリケーションが起動された状態にある。１つの例では、当該アプリケーションが起動されている間、携帯端末装置２は、本フローチャートの処理を定期的に実行する。
ステップ１０１で、携帯端末装置２は、携帯端末装置２の撮影装置１４が撮影する撮影画像から特徴点集合４を３つ以上認識できるか否かを判定する。特徴点集合４を３つ以上認識した場合、本処理はステップ１０２へ進み、特徴点集合４を３つ未満認識した場合、本処理は終了する。
次にステップ１０２で、携帯端末装置２は、認識した特徴点集合４のＩＤの各々と記憶装置１５が記憶する特徴点集合位置データとを用いて、該特徴点集合４の各々が配置された配置位置情報を取得する。携帯端末装置２は、認識した特徴点集合４の形状及び大きさから該特徴点集合４の各々に対する携帯端末装置２の相対位置を示す相対位置情報を決定する。
次にステップ１０３で、携帯端末装置２は、認識した特徴点集合４の各々についての配置位置情報及び相対位置情報の各々に基づいて、仮想カメラの視点位置を決定する。
次にステップ１０４で、携帯端末装置２は、仮想カメラの視野範囲内で第２の仮想オブジェクト６２が有るか否かを判定する。第２の仮想オブジェクト６２が有る場合、本処理はステップ１０５へ進み、第２の仮想オブジェクト６２が無い場合、本処理は終了する。ステップ１０５で、携帯端末装置２は、第１の仮想オブジェクト６１のデータ、第２の仮想オブジェクト６２のデータ、及び決定された仮想カメラの視点位置に基づいて、実空間５０の撮影画像に該視点位置に応じた第２の仮想オブジェクト６２の画像を重畳させた複合現実画像を生成する。本処理を終了する場合、携帯端末装置２は、実空間５０の撮影画像をそのまま複合現実画像として表示する。
次に、本発明の実施形態によるＭＲシステム１（携帯端末装置２）の主な作用効果について説明する。本実施形態では、ＭＲシステム１は、所定の実空間５０内に複数の特徴点集合４を含み、該特徴点集合４の各々は、実空間５０上の仮想的な矩形の４つの頂点位置に対応する位置に、予め定められた垂直方向の距離及び水平方向の距離離れて配置される。また記憶装置１５は、実空間５０内にある実オブジェクト５１を表し仮想空間６０を定める３次元空間データを記憶するとともに、各特徴点集合４の配置位置情報を記憶し、該配置位置情報は３次元空間データに紐づけられたものである。
携帯端末装置２は、特徴点集合４を認識することにより、認識した特徴点集合４の各々の配置位置情報を取得する。一方、携帯端末装置２は、認識した特徴点集合４の各々の撮影画像における形状及び大きさから該特徴点集合４の各々に対する携帯端末装置２の相対位置を示す相対位置情報（６ＤｏＦ）を決定する。携帯端末装置２は、認識した特徴点集合４の各々の配置位置情報及び相対位置情報に基づいてカメラの視点位置（６ＤｏＦ）を決定し、実空間５０の撮影画像に仮想カメラの視点位置に応じた複合現実画像を生成する。
このように、ＭＲシステム１においては、３次元空間データ（仮想空間６０）の座標を用いて実オブジェクト５１と特徴点集合４の位置を紐付けられるため、携帯端末装置２は、特徴点集合４を認識することにより、認識した特徴点集合４の仮想空間６０における配置位置情報を取得することができる。また本実施形態では、配置位置情報と特徴点集合４に対する携帯端末装置２の相対位置情報を用いて、ユーザにより操作されている撮影装置１４（自己位置）に対応する仮想カメラの視点位置（６ＤｏＦ）を決定することが可能である。
また本実施形態では、携帯端末装置２は、特徴点集合４の各々から仮の仮想カメラの視点位置（６ＤｏＦ）を各々算出した後で、算出した６ＤｏＦの各々に基づいて仮想カメラの視点位置を決定する。仮想カメラの視点位置の精度は、複合現実画像を生成する上で非常に重要である。このような構成とすることにより、本実施形態では、より精度よく仮想カメラの視点位置を決定することが可能となる。また本実施形態では、携帯端末装置２は、更に既知の特徴点集合群３の配置関係を用いて、仮想カメラの視点位置を決定する。これにより、より精度よく仮想カメラの視点位置を決定することが可能となる。この場合、携帯端末装置２が仮想カメラの視点位置を決定する上で、より正確にかつ速く演算するために、特徴点集合群３を構成する隣接する特徴点集合４は、鉛直方向（垂直方向）及び水平方向に実質的に平行であることが好ましい。
また本実施形態では、携帯端末装置２は、複合現実画像を生成するにあたって、第１の仮想オブジェクト６１についてはインビジブルなメッシュとして描画処理を行い、第２の仮想オブジェクト６２については通常の描画処理を実行する。このような構成とすることにより、本実施形態では、第２の仮想オブジェクト６２を表示するときの実オブジェクト５１とのより精度の高い幾何学的整合性（前後関係、オクルージョンなど）を実現することが可能となる。複合現実画像における幾何学的整合性は、第２の仮想オブジェクト６２にリアリティを与えるうえで、極めて重要である。
上記の作用効果は、特に言及が無い限り、他の実施形態や他の実施例においても同様である。
本発明の他の実施形態では、上記で説明した本発明の実施形態の機能やフローチャートに示す情報処理を実現するプログラムや該プログラムを格納したコンピュータ読み取り可能な記憶媒体とすることもできる。また他の実施形態では、上記で説明した本発明の実施形態の機能やフローチャートに示す情報処理を実現する方法とすることもできる。また他の実施形態では、上記で説明した本発明の実施形態の機能やフローチャートに示す情報処理を実現するプログラムをコンピュータに供給することができるサーバとすることもできる。また他の実施形態では、上記で説明した本発明の実施形態の機能やフローチャートに示す情報処理を実現する仮想マシンとすることもできる。また他の実施形態では、ＭＲシステム１における特徴点集合４の配置構造とすることもできる。
以下に本発明の実施形態の変形例について説明する。以下で述べる変形例は、矛盾が生じない限りにおいて、適宜組み合わせて本発明の任意の実施形態に適用することができる。
１つの変形例では、特徴点集合４は、２次元コードであるか、又は２次元コードを含む。例えば特徴点集合４は、ＱＲコード（登録商標）又はデータマトリックスである。更なる１つの変形例では、特徴点集合４としての２次元コードは、識別可能情報として、緯度、経度、アングル等を示す識別子を含む。この場合、２次元コードを認識した携帯端末装置２は、取得した識別可能情報から直接特徴点集合４の配置位置情報を取得することができる。この場合、記憶装置１５は、特徴点集合位置データを記憶しなくてもよい。
１つの変形例では、特徴点集合４は、既知のＡＲマーカである。
１つの変形例では、各々を識別可能な異なる特徴点の空間的な分散を有するポスター、絵、写真などを特徴点集合４として用いる。認識部２２及び位置決定部２３は、前述の局所特徴量を用いた既知の方法（非特許文献２、３）を用いる。この場合、局所特徴量が識別可能情報となる。本変形例において、記憶装置１５は、特徴点集合４の各々のテンプレート画像を特徴点集合４のＩＤに関連付けて記憶する。認識部２２は、撮影装置１４により撮影された特徴点集合４から局所特徴量を抽出し、特徴点集合４の各々のテンプレート画像と照合することにより、特徴点集合４の各々のＩＤを認識する。位置決定部２３は、認識した特徴点集合４のＩＤと記憶装置１５が記憶する特徴点集合位置データとを用いて、該特徴点集合４が配置された配置位置情報を取得する。また位置決定部２３は、局所特徴量を用いて、テンプレート画像と撮影装置１４による撮影画像間の射影（回転、拡大縮小、変形など）を求めることにより、特徴点集合４に対する携帯端末装置２の相対位置情報を決定する。位置決定部２３は、認識した特徴点集合４の各々について、配置位置情報を取得して相対位置情報を決定し、当該配置位置情報及び相対位置情報に基づいて、仮想カメラの視点位置を決定する。
１つの変形例では、特徴点集合群３は、予め定められた位置関係を有するように配置された３つの特徴点集合４を含む。例えば、実空間５０において水平方向に離れて設置された一対の棒状体４１のうちの一方の棒状体４１には２つの特徴点集合４が固定して取り付けられ、他方の棒状体４１には１つの特徴点集合４が固定して取り付けられる。本実施形態では、特徴点集合群３が予め位置関係が定められた３つの特徴点集合４を含むことにより、位置決定部２３は、既知の特徴点集合群３の配置関係を用いて、仮想カメラの視点位置を決定することが可能となる。この場合の３つの特徴点集合４は、実空間５０上の仮想的な矩形の４つの頂点のうちの３つの頂点位置に対応する位置関係を有するように配置されることが好ましい。
１つの変形例では、ＭＲシステム１は、実空間５０において水平方向に離れて設置された３以上の棒状体４１の各々に固定して取り付けられた、複数の特徴点集合４を含む。各棒状体４１においては、複数の特徴点集合４が垂直方向に離れて固定して取り付けられる。ただし、一部の棒状体４１は、１つの特徴点集合４のみが取り付けられてもよい。
１つの変形例では、特徴点集合４の各々は、光を透過する材料で形成される透過部材４２に固定して取り付けられる。透過部材４２は、例えば、可視光線のほぼ全域を透過するガラスや樹脂であり、窓ガラスのような構造物の一部でもよいし、ガラス板のような持ち運び可能なものでもよい。図１１は、窓ガラスに固定して取り付けられた特徴点集合群３を示す図である。
１つの変形例では、特徴点集合４の各々は、ワイヤーを用いて固定して取り付けられる。ただし、ワイヤーと同等の機能を有する部材を用いて、実空間５０に固定してもよい。
１つの変形例では、ＭＲシステム１は、５以上の特徴点集合４を含む特徴点集合群３を含む。例えば、特徴点集合群３は２０の特徴点集合４から構成される。本変形例では、撮影装置１４が１つの撮影画像内に、特徴点集合群３が含む特徴点集合４のすべてを収めることができない場合を想定する。
認識部２２は、所定時間ごとに、撮影装置１４の撮影画像内に含まれる特徴点集合４の各々を認識する。位置決定部２３は、所定時間ごとに、認識した特徴点集合４の各々の配置位置情報及び相対位置情報に基づいてカメラの視点位置（６ＤｏＦ）を決定する。画像生成部２４は、第１の仮想オブジェクト６１のデータ及び第２の仮想オブジェクト６２のデータ、並びに所定時間ごとに位置決定部２３が決定した仮想カメラの視点位置に基づいて、実空間５０の撮影画像に仮想カメラの視点位置に応じた複合現実画像を生成する。
このように、撮影装置１４が複数の特徴点集合４を認識した後、ユーザの移動により撮影装置１４の撮影位置が移動したとき、携帯端末装置２は、他の複数の特徴点集合４を認識する。このような構成とすることにより、携帯端末装置２は、実空間５０内のユーザの移動に伴って、複数の特徴点集合４を順次切り替えながらキャリブレーションする「ローミング処理」を行うことが可能となる。このように、本変形例では、撮影装置１４が撮影する複数の特徴点集合４が時間に応じて変化する状況であっても、携帯端末装置２は自己位置（６ＤｏＦ）を連続的に算出することが可能となる。これにより、実空間５０内を移動するユーザに対して、ＭＲ体験を提供し続けることが可能となる。
本変形例において、位置決定部２３は、認識した特徴点集合４のうちの一部の特徴点集合４の各々の配置位置情報及び相対位置情報に基づいてカメラの視点位置（６ＤｏＦ）を決定してもよい。例えば、撮影画像内の特徴点集合４のサイズが所定の大きさ以上の特徴点集合４の各々の配置位置情報及び相対位置情報に基づいてカメラの視点位置（６ＤｏＦ）を決定してもよい。
１つの変形例では、図１１に示すように、ＭＲシステム１は、第１の特徴点集合群３ａ、第２の特徴点集合群３ｂ、第３の特徴点集合群３ｃ、及び第４の特徴点集合群３ｄを含む複数の特徴点集合群３を含む。本変形例において、各特徴点集合群３はお互いに異なる特徴点集合４を含むが、複数の特徴点集合群３が同一の特徴点集合４を含む。例えば、第１の特徴点集合群３ａは、第２の特徴点集合群３ｂが含む特徴点集合４と、第２の特徴点集合群３ｂが含まない特徴点集合４を含む。
認識部２２は、所定時間ごとに、撮影装置１４の撮影画像内に含まれる特徴点集合４の各々を認識する。アプリケーション部２１は、認識した特徴点集合群３のうちの一の特徴点集合群３を基準特徴点集合群３として選択する。位置決定部２３は、基準特徴点集合群３が含む特徴点集合４の各々についての相対位置情報を決定すると、認識した特徴点集合４により構成される第１の仮想的な矩形を決定する。一方、位置決定部２３は、認識した特徴点集合４の各々についての配置位置情報を取得し、取得した配置位置情報から構成される第２の仮想的な矩形を決定する。位置決定部２３は、第２の仮想的な矩形の配置位置情報と、第２の仮想的な矩形に対する第１の仮想的な矩形の形状及び大きさとを用いて、仮想カメラの視点位置を決定する。
１つの例では、認識部２２が特徴点集合４の各々を認識するごとに、アプリケーション部２１は、基準特徴点集合群３を選択する。１つの例では、アプリケーション部２１は、撮影画像に含まれる特徴点集合４がより多い特徴点集合群３を、基準特徴点集合群３として選択する。１つの例では、上記選択方法の代わりに、又はこれに加えて、アプリケーション部２１は、撮影画像の中央部分に含まれる特徴点集合４がより多い特徴点集合群３を、基準特徴点集合群３として選択する。１つの例では、上記選択方法の代わりに、又はこれに加えて、アプリケーション部２１は、撮影画像に含まれる特徴点集合４のサイズが大きい特徴点集合４の比率がより多い特徴点集合群３を、基準特徴点集合群３として選択する。
このように、撮影装置１４により基準特徴点集合群３が含む特徴点集合４を認識した後、ユーザの移動により撮影装置１４の撮影位置が移動したとき、携帯端末装置２は、他の基準特徴点集合群３が含む特徴点集合４を認識する。このような構成とすることにより、携帯端末装置２は、実空間５０内のユーザの移動に伴って、特徴点集合群３を順次切り替えながらキャリブレーションする「ローミング処理」を行うことが可能となる。このように、本変形例では、撮影装置１４が撮影する複数の特徴点集合４が時間に応じて変化する状況であっても、携帯端末装置２は自己位置（６ＤｏＦ）を連続的に算出することが可能となる。これにより、実空間５０内を移動するユーザに対して、ＭＲ体験を提供し続けることが可能となる。
なお、１つの特徴点集合群３は、６つの特徴点集合４を含むものとしてもよいし、９つの特徴点集合４を含むものとしてもよい。
１つの変形例では、携帯端末装置２（位置決定部２３）は、仮想カメラの視点位置を仮想空間６０上の所定位置（例えば、予め定めた６ＤｏＦ）に固定し、３次元空間データの座標の位置を動的に決定する。携帯端末装置２は、カメラの視点位置を決定する代わりに、第１の仮想オブジェクト６１の３次元位置情報を決定する。例えば携帯端末装置２は、３次元空間データの座標を決定する。これに伴って、特徴点集合４の座標及び第２の仮想オブジェクト６２の座標も変更される。
１つの変形例では、配置位置情報（配置位置姿勢情報）又は相対位置情報（相対位置姿勢情報）は、６ＤｏＦの値の代わりに、クオータニオンの値を用いる。
１つの変形例では、図１２に示すように、ＭＲシステム１は、複数の携帯端末装置２と、サーバ６と備え、携帯端末装置２及びサーバ６は、インターネットなどのネットワーク８に接続され、互いに通信可能である。サーバ６は、一般的なサーバが備える構成を備える。例えば、サーバ６は、各部を制御するＣＰＵ等のプロセッサと、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブ等の記憶装置と、ディスプレイ等の表示装置と、マウス、キーボード、タッチパネル等の入力装置と、ネットワークボード等の通信装置とを備える。これらの構成要素はバスを介して接続される。
サーバ６が備える記憶装置は、第１の仮想オブジェクト６１のデータ（３次元空間データ）及び第２の仮想オブジェクト６２のデータを記憶する。携帯端末装置２の記憶装置１５は、サーバ６が記憶するデータを記憶しなくてもよい。例えば、サーバ６は、３次元空間データを３次元空間データベースとして機能させるためのプログラムとともに記憶し、携帯端末装置２からの問い合わせに応じて、３次元空間データを携帯端末装置２に送信する。サーバ６が備える記憶装置は、携帯端末装置２の記憶装置１５の代わりに、特徴点集合位置データを記憶してもよい。
更なる１つの変形例では、ＭＲシステム１の携帯端末装置２の動作は、サーバ６が提供するＷｅｂアプリにより実現される。例えば、サーバ６は、アプリケーション部２１の機能をすべて備え、アプリケーション部２１の動作で用いる各種データも併せて記憶する。この場合、サーバ６は、アプリケーション部２１に対応するＷｅｂアプリを携帯端末装置２に提供する。携帯端末装置２は、該携帯端末装置２に予めインストールされたＷｅｂアプリが起動されると、サーバ６上のＷｅｂアプリへアクセスする。携帯端末装置２は、サーバ６と通信することにより、アプリケーション部２１の機能を携帯端末装置２上で実現する。
以上に説明した処理又は動作において、あるステップにおいて、そのステップではまだ利用することができないはずのデータを利用しているなどの処理又は動作上の矛盾が生じない限りにおいて、処理又は動作を自由に変更することができる。また以上に説明してきた各実施例は、本発明を説明するための例示であり、本発明はこれらの実施例に限定されるものではない。本発明は、その要旨を逸脱しない限り、種々の形態で実施することができる。
１ 複合現実システム
２ 携帯端末装置
３ 特徴点集合群
４ 特徴点集合
６ サーバ
８ ネットワーク
１１ プロセッサ
１２ 入力装置
１３ 表示装置
１４ 撮影装置
１５ 記憶装置
１６ 通信装置
１７ バス
２１ アプリケーション部
２２ 認識部
２３ 位置決定部
２４ 画像生成部
２５ 画像表示部
４１ 棒状体
４２ 透過部材
５０ 実空間
５１ 実オブジェクト
６０ 仮想空間
６１ 第１の仮想オブジェクト
６２ 第２の仮想オブジェクト

Claims (14)

  1. 所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を含み、実空間の撮影画像に実空間に対応する仮想空間に配置される仮想オブジェクトの画像を重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムであって、
    前記複合現実システムは、
    前記所定の実空間内に配置された複数の特徴点集合を含み、該特徴点集合は、各々を識別可能な識別可能情報を含み、該複数の特徴点集合のうちの少なくとも３つの該特徴点集合は予め定められた位置関係を有するように配置され、
    前記携帯端末装置は、
    予め取得された前記所定の実空間内に存在する実オブジェクトに対応するものであり仮想空間を定めるものである第１の仮想オブジェクトのデータと該実オブジェクトに対応しない仮想空間における第２の仮想オブジェクトのデータとを記憶するとともに、前記所定の実空間に配置された前記特徴点集合の各々の仮想空間における配置位置姿勢情報を記憶し、
    前記撮影装置により撮影された前記特徴点集合の各々を認識し、
    認識した前記特徴点集合の一部又は全部の各々の前記識別可能情報から取得された該特徴点集合の各々の前記配置位置姿勢情報、及び該特徴点集合の形状及び大きさから決定される該特徴点集合の各々に対する前記携帯端末装置の相対位置姿勢情報に基づいて、実空間における前記撮影装置の位置及び撮影方向に対応する仮想空間における仮想カメラの視点位置を決定し、
    前記第１の仮想オブジェクトのデータ、前記第２の仮想オブジェクトのデータ、及び前記視点位置に基づいて、実空間の撮影画像に該視点位置に応じた前記第２の仮想オブジェクトの画像を重畳させた複合現実画像を生成する、
    複合現実システム。
  2. 前記携帯端末装置は、前記複合現実画像を生成するにあたって、前記仮想カメラの視野範囲内に前記第１の仮想オブジェクトと前記第２の仮想オブジェクトが重複する場合において、該第２の仮想オブジェクトの前記視点位置からの奥行距離が該第１の仮想オブジェクトよりも大きい場合、該重複した部分が除かれた該第２の仮想オブジェクトの画像を重畳させた複合現実画像を生成する、請求項１に記載の複合現実システム。
  3. 前記複合現実システムは、５以上の前記特徴点集合を含み、
    前記携帯端末装置は、所定時間ごとに、前記撮影装置により撮影された前記特徴点集合の各々を認識し、前記視点位置を決定し、前記複合現実画像を生成する、請求項１又は２に記載の複合現実システム。
  4. 前記複合現実システムは、前記所定の実空間に配置された４つの前記特徴点集合を含み、該特徴点集合の各々は、実空間上の仮想的な矩形の４つの頂点位置に対応する位置関係を有し、かつ予め定められた垂直方向の距離及び予め定められた水平方向の距離離れて配置される、請求項１から３のいずれか１項に記載の複合現実システム。
  5. １又は複数の前記特徴点集合が、水平方向に離れて設置された複数の棒状体の各々に、固定して取り付けられる、請求項４に記載の複合現実システム。
  6. 前記特徴点集合の各々は、光を透過する材料で形成される透過部材に固定して取り付けられる、請求項１から４のいずれか１項に記載の複合現実システム。
  7. 前記特徴点集合の各々は、ワイヤーを用いて固定して取り付けられる、請求項１から４のいずれか１項に記載の複合現実システム。
  8. 前記特徴点集合は、ポスター、絵、写真、ＡｒＵｃｏマーカ、ＡＲマーカ、２次元コード、又はデータマトリックスである、請求項１から７のいずれか１項に記載の複合現実システム。
  9. 所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を含み、実空間の撮影画像に実空間に対応する仮想空間に配置される仮想オブジェクトの画像を重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムにおいて、該携帯端末装置に実行させるプログラムであって、
    前記複合現実システムは、
    前記所定の実空間内に配置された複数の特徴点集合を含み、該特徴点集合は、各々を識別可能な識別可能情報を含み、該複数の特徴点集合のうちの少なくとも３つの該特徴点集合は予め定められた位置関係を有するように配置され、
    前記プログラムは、前記携帯端末装置に、
    前記撮影装置により撮影された前記特徴点集合の各々を認識するステップと、
    認識した前記特徴点集合の一部又は全部の各々の前記識別可能情報から取得された該特徴点集合の各々が配置された仮想空間における配置位置姿勢情報、及び該特徴点集合の形状及び大きさから決定される該特徴点集合の各々に対する前記携帯端末装置の相対位置姿勢情報に基づいて、実空間における前記撮影装置の位置及び撮影方向に対応する仮想空間における仮想カメラの視点位置を決定するステップと、
    予め取得された前記所定の実空間内に存在する実オブジェクトに対応するものであり仮想空間を定めるものである第１の仮想オブジェクトのデータ、該実オブジェクトに対応しない仮想空間における第２の仮想オブジェクトのデータ、及び前記視点位置に基づいて、実空間の撮影画像に該視点位置に応じた前記第２の仮想オブジェクトの画像を重畳させた複合現実画像を生成するステップと、
    を実行させる、プログラム。
  10. 所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を含み、実空間の撮影画像に実空間に対応する仮想空間に配置される仮想オブジェクトの画像を重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムにおける携帯端末装置であって、
    前記複合現実システムは、
    前記所定の実空間内に配置された複数の特徴点集合を含み、該特徴点集合は、各々を識別可能な識別可能情報を含み、該複数の特徴点集合のうちの少なくとも３つの該特徴点集合は予め定められた位置関係を有するように配置され、
    前記携帯端末装置は、
    予め取得された前記所定の実空間内に存在する実オブジェクトに対応するものであり仮想空間を定めるものである第１の仮想オブジェクトのデータと該実オブジェクトに対応しない仮想空間における第２の仮想オブジェクトのデータとを記憶するとともに、前記所定の実空間に配置された前記特徴点集合の各々の仮想空間における配置位置姿勢情報を記憶し、
    前記撮影装置により撮影された前記特徴点集合の各々を認識し、
    認識した前記特徴点集合の一部又は全部の各々の前記識別可能情報から取得された該特徴点集合の各々の前記配置位置姿勢情報、及び該特徴点集合の形状及び大きさから決定される該特徴点集合の各々に対する前記携帯端末装置の相対位置姿勢情報に基づいて、実空間における前記撮影装置の位置及び撮影方向に対応する仮想空間における仮想カメラの視点位置を決定し、
    前記第１の仮想オブジェクトのデータ、前記第２の仮想オブジェクトのデータ、及び前記視点位置に基づいて、実空間の撮影画像に該視点位置に応じた前記第２の仮想オブジェクトの画像を重畳させた複合現実画像を生成する、
    携帯端末装置。
  11. 所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を含み、実空間の撮影画像に実空間に対応する仮想空間に配置される仮想オブジェクトの画像を重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムにおいて、該携帯端末装置により実行される方法であって、
    前記複合現実システムは、
    前記所定の実空間内に配置された複数の特徴点集合を含み、該特徴点集合は、各々を識別可能な識別可能情報を含み、該複数の特徴点集合のうちの少なくとも３つの該特徴点集合は予め定められた位置関係を有するように配置され、
    前記撮影装置により撮影された前記特徴点集合の各々を認識するステップと、
    認識した前記特徴点集合の一部又は全部の各々の前記識別可能情報から取得された該特徴点集合の各々が配置された仮想空間における配置位置姿勢情報、及び該特徴点集合の形状及び大きさから決定される該特徴点集合の各々に対する前記携帯端末装置の相対位置姿勢情報に基づいて、実空間における前記撮影装置の位置及び撮影方向に対応する仮想空間における仮想カメラの視点位置を決定するステップと、
    予め取得された前記所定の実空間内に存在する実オブジェクトに対応するものであり仮想空間を定めるものである第１の仮想オブジェクトのデータ、該実オブジェクトに対応しない仮想空間における第２の仮想オブジェクトのデータ、及び前記視点位置に基づいて、実空間の撮影画像に該視点位置に応じた前記第２の仮想オブジェクトの画像を重畳させた複合現実画像を生成するステップと、
    を含む、方法。
  12. サーバ、並びに所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を含み、実空間の撮影画像に実空間に対応する仮想空間に配置される仮想オブジェクトの画像を重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムであって、
    前記複合現実システムは、
    前記所定の実空間内に配置された複数の特徴点集合を含み、該特徴点集合は、各々を識別可能な識別可能情報を含み、該複数の特徴点集合のうちの少なくとも３つの該特徴点集合は予め定められた位置関係を有するように配置され、
    前記サーバは、
    予め取得された前記所定の実空間内に存在する実オブジェクトに対応するものであり仮想空間を定めるものである第１の仮想オブジェクトのデータと該実オブジェクトに対応しない仮想空間における第２の仮想オブジェクトのデータとを記憶するとともに、前記所定の実空間に配置された前記特徴点集合の各々の仮想空間における配置位置姿勢情報を記憶し、
    前記携帯端末装置は、
    前記撮影装置により撮影された前記特徴点集合の各々を認識し、
    認識した前記特徴点集合の一部又は全部の各々の前記識別可能情報から取得された該特徴点集合の各々の前記配置位置姿勢情報、及び該特徴点集合の形状及び大きさから決定される該特徴点集合の各々に対する前記携帯端末装置の相対位置姿勢情報に基づいて、実空間における前記撮影装置の位置及び撮影方向に対応する仮想空間における仮想カメラの視点位置を決定し、
    前記第１の仮想オブジェクトのデータ、前記第２の仮想オブジェクトのデータ、及び前記視点位置に基づいて、実空間の撮影画像に該視点位置に応じた前記第２の仮想オブジェクトの画像を重畳させた複合現実画像を生成する、
    複合現実システム。
  13. 所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を含み、実空間の撮影画像に実空間に対応する仮想空間に配置される仮想オブジェクトの画像を重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムであって、
    前記複合現実システムは、
    前記所定の実空間内に配置された複数の特徴点集合を含み、該特徴点集合は、各々を識別可能な識別可能情報を含み、該複数の特徴点集合のうちの少なくとも３つの該特徴点集合は予め定められた位置関係を有するように配置され、
    前記携帯端末装置は、
    予め取得された前記所定の実空間内に存在する実オブジェクトに対応するものであり仮想空間を定めるものである第１の仮想オブジェクトのデータと該実オブジェクトに対応しない仮想空間における第２の仮想オブジェクトのデータとを記憶するとともに、前記所定の実空間に配置された前記特徴点集合の各々の仮想空間における配置位置姿勢情報を記憶し、
    前記撮影装置により撮影された前記特徴点集合の各々を認識し、
    認識した前記特徴点集合の一部又は全部の各々の前記識別可能情報から取得された該特徴点集合の各々の前記配置位置姿勢情報、及び該特徴点集合の形状及び大きさから決定される該特徴点集合の各々に対する前記携帯端末装置の相対位置姿勢情報に基づいて、前記第１の仮想オブジェクトの位置姿勢情報を決定し、
    前記第１の仮想オブジェクトのデータ及び前記第２の仮想オブジェクトのデータに基づいて、実空間の撮影画像に該視点位置に応じた前記第２の仮想オブジェクトの画像を重畳させた複合現実画像を生成する、
    複合現実システム。
  14. 所定の実空間内にいるユーザに対して仮想オブジェクトを表示するためのディスプレイ及び実空間を撮影する撮影装置を有する携帯端末装置を含み、実空間の撮影画像に実空間に対応する仮想空間に配置される仮想オブジェクトの画像を重畳させた複合現実画像を該ディスプレイに表示するための複合現実システムにおいて、該携帯端末装置に実行させるプログラムであって、
    前記複合現実システムは、
    前記所定の実空間内に配置された複数の特徴点集合を含み、該特徴点集合は、各々を識別可能な識別可能情報を含み、該複数の特徴点集合のうちの少なくとも３つの該特徴点集合は予め定められた位置関係を有するように配置され、
    前記プログラムは、前記携帯端末装置に、
    前記撮影装置により撮影された前記特徴点集合の各々を認識するステップと、
    認識した前記特徴点集合の一部又は全部の各々の前記識別可能情報から取得された該特徴点集合の各々が配置された仮想空間における配置位置姿勢情報、及び該特徴点集合の形状及び大きさから決定される該特徴点集合の各々に対する前記携帯端末装置の相対位置姿勢情報に基づいて、予め取得された前記所定の実空間内に存在する実オブジェクトに対応するものであり仮想空間を定めるものである第１の仮想オブジェクトの位置姿勢情報を決定するステップと、
    前記第１の仮想オブジェクトのデータ及び前記実オブジェクトに対応しない仮想空間における第２の仮想オブジェクトのデータに基づいて、実空間の撮影画像に該視点位置に応じた前記第２の仮想オブジェクトの画像を重畳させた複合現実画像を生成するステップと、
    を実行させる、プログラム。
JP2018157410A 2018-08-24 2018-08-24 複合現実システム、プログラム、携帯端末装置、及び方法 Active JP6640294B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018157410A JP6640294B1 (ja) 2018-08-24 2018-08-24 複合現実システム、プログラム、携帯端末装置、及び方法
CN201980069925.2A CN112912936A (zh) 2018-08-24 2019-08-23 混合现实系统、程序、移动终端装置和方法
PCT/JP2019/032969 WO2020040277A1 (ja) 2018-08-24 2019-08-23 複合現実システム、プログラム、携帯端末装置、及び方法
US17/181,456 US20210174599A1 (en) 2018-08-24 2021-02-22 Mixed reality system, program, mobile terminal device, and method
US18/501,702 US20240071016A1 (en) 2018-08-24 2023-11-03 Mixed reality system, program, mobile terminal device, and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018157410A JP6640294B1 (ja) 2018-08-24 2018-08-24 複合現実システム、プログラム、携帯端末装置、及び方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019234647A Division JP2020057430A (ja) 2019-12-25 2019-12-25 複合現実システム、プログラム、携帯端末装置、及び方法

Publications (2)

Publication Number Publication Date
JP6640294B1 JP6640294B1 (ja) 2020-02-05
JP2020030748A true JP2020030748A (ja) 2020-02-27

Family

ID=69320908

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018157410A Active JP6640294B1 (ja) 2018-08-24 2018-08-24 複合現実システム、プログラム、携帯端末装置、及び方法

Country Status (4)

Country Link
US (2) US20210174599A1 (ja)
JP (1) JP6640294B1 (ja)
CN (1) CN112912936A (ja)
WO (1) WO2020040277A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11195336B2 (en) * 2018-06-08 2021-12-07 Vulcan Inc. Framework for augmented reality applications
CN117635879A (zh) * 2022-08-17 2024-03-01 北京字跳网络技术有限公司 图像处理方法及装置
WO2024070602A1 (ja) * 2022-09-29 2024-04-04 日本電気通信システム株式会社 情報表示システム、情報表示方法、プログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009020614A (ja) * 2007-07-10 2009-01-29 Ritsumeikan 複合現実感システムに用いるマーカユニット、複合現実感システム、マーカユニット作成支援システム、及び、マーカユニット作成支援プログラム
JP2017076295A (ja) * 2015-10-16 2017-04-20 富士フイルム株式会社 拡張現実提供システム及び方法、情報処理装置、並びにプログラム
WO2018123022A1 (ja) * 2016-12-28 2018-07-05 株式会社メガハウス コンピュータプログラム、表示装置、頭部装着型表示装置、マーカ
WO2018147093A1 (ja) * 2017-02-10 2018-08-16 株式会社エンプラス マーカ
JP6410874B1 (ja) * 2017-05-30 2018-10-24 株式会社タカラトミー Ａｒ映像生成装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
US9111347B2 (en) * 2009-07-29 2015-08-18 Metaio Gmbh Method for determining the pose of a camera with respect to at least one real object
US8749396B2 (en) * 2011-08-25 2014-06-10 Satorius Stedim Biotech Gmbh Assembling method, monitoring method, communication method, augmented reality system and computer program product
US9524436B2 (en) * 2011-12-06 2016-12-20 Microsoft Technology Licensing, Llc Augmented reality camera registration
JP6318542B2 (ja) * 2013-10-24 2018-05-09 富士通株式会社 表示制御方法、表示制御プログラムおよび情報処理装置
US9286725B2 (en) * 2013-11-14 2016-03-15 Nintendo Co., Ltd. Visually convincing depiction of object interactions in augmented reality images
JP6244954B2 (ja) * 2014-02-06 2017-12-13 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
JP6344029B2 (ja) * 2014-04-16 2018-06-20 富士通株式会社 表示方法、表示プログラム、及び表示装置
JP6265027B2 (ja) * 2014-04-22 2018-01-24 富士通株式会社 表示装置、位置特定プログラム、および位置特定方法
US9892560B2 (en) * 2014-09-11 2018-02-13 Nant Holdings Ip, Llc Marker-based augmented reality authoring tools
US10026228B2 (en) * 2015-02-25 2018-07-17 Intel Corporation Scene modification for augmented reality using markers with parameters
US10192361B2 (en) * 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
US10347048B2 (en) * 2015-12-02 2019-07-09 Seiko Epson Corporation Controlling a display of a head-mounted display device
CN107077739A (zh) * 2017-01-23 2017-08-18 香港应用科技研究院有限公司 使用单目相机的三维标记模型构建和实时跟踪

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009020614A (ja) * 2007-07-10 2009-01-29 Ritsumeikan 複合現実感システムに用いるマーカユニット、複合現実感システム、マーカユニット作成支援システム、及び、マーカユニット作成支援プログラム
JP2017076295A (ja) * 2015-10-16 2017-04-20 富士フイルム株式会社 拡張現実提供システム及び方法、情報処理装置、並びにプログラム
WO2018123022A1 (ja) * 2016-12-28 2018-07-05 株式会社メガハウス コンピュータプログラム、表示装置、頭部装着型表示装置、マーカ
WO2018147093A1 (ja) * 2017-02-10 2018-08-16 株式会社エンプラス マーカ
JP6410874B1 (ja) * 2017-05-30 2018-10-24 株式会社タカラトミー Ａｒ映像生成装置

Also Published As

Publication number Publication date
CN112912936A (zh) 2021-06-04
US20210174599A1 (en) 2021-06-10
US20240071016A1 (en) 2024-02-29
WO2020040277A1 (ja) 2020-02-27
JP6640294B1 (ja) 2020-02-05

Similar Documents

Publication Publication Date Title
JP6687204B2 (ja) 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法
JP7294396B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US9443353B2 (en) Methods and systems for capturing and moving 3D models and true-scale metadata of real world objects
JP5093053B2 (ja) 電子カメラ
JP4508049B2 (ja) ３６０°画像撮影装置
JP6453501B1 (ja) 複合現実システム、プログラム、方法、及び携帯端末装置
US10580205B2 (en) 3D model generating system, 3D model generating method, and program
US20240071016A1 (en) Mixed reality system, program, mobile terminal device, and method
JP2015510112A (ja) 仮想定規
JP6609640B2 (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
JP6310149B2 (ja) 画像生成装置、画像生成システム及び画像生成方法
JP2005256232A (ja) ３ｄデータ表示方法、装置、およびプログラム
JP2019133642A (ja) 複合現実システム、プログラム、方法、及び携帯端末装置
JP5714960B2 (ja) 監視範囲検知装置
JP2013196388A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR20120005735A (ko) 증강 현실에서 위치 정보를 표시하는 방법 및 장치
JP2020057430A (ja) 複合現実システム、プログラム、携帯端末装置、及び方法
JP7401245B2 (ja) 画像合成装置、画像合成装置の制御方法およびプログラム
JP2008203991A (ja) 画像処理装置
JP2018032991A (ja) 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム
JP6859763B2 (ja) プログラム、情報処理装置
JP2017162192A (ja) 画像処理プログラム、画像処理装置、画像処理システム、及び画像処理方法
JP2017184025A (ja) 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム
JP2016224015A (ja) 三次元位置計測方法、測量方法、三次元位置計測装置及び三次元位置計測プログラム
JP2021047516A (ja) 情報処理装置、座標変換システム、座標変換方法、及び座標変換プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181024

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181024

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190212

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190225

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190708

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191125

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191225

R150 Certificate of patent or registration of utility model

Ref document number: 6640294

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250