JP2016189124A - Virtual reality creation device, virtual reality creation program, virtual reality creation method, drawing display sheet, and drafting paper - Google Patents

Virtual reality creation device, virtual reality creation program, virtual reality creation method, drawing display sheet, and drafting paper Download PDF

Info

Publication number
JP2016189124A
JP2016189124A JP2015068942A JP2015068942A JP2016189124A JP 2016189124 A JP2016189124 A JP 2016189124A JP 2015068942 A JP2015068942 A JP 2015068942A JP 2015068942 A JP2015068942 A JP 2015068942A JP 2016189124 A JP2016189124 A JP 2016189124A
Authority
JP
Japan
Prior art keywords
image
virtual reality
position marker
displayed
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015068942A
Other languages
Japanese (ja)
Inventor
井上 俊宏
Toshihiro Inoue
俊宏 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Livingstyle Inc
Original Assignee
Livingstyle Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Livingstyle Inc filed Critical Livingstyle Inc
Priority to JP2015068942A priority Critical patent/JP2016189124A/en
Publication of JP2016189124A publication Critical patent/JP2016189124A/en
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a device capable of virtually grasping the setting image of furniture even in a state that an architectural drawing is just finished without requiring any labor of data input of a room written in architectural specifications such as the color of a floor or wall or the construction of the actual room.SOLUTION: A floor drawing 22 of a condominium and a position marker 21 for specifying a position where virtual furniture is set are displayed on a drawing display sheet 20. The drawing 22 and the position marker 21 are photographed by a camera 4 of a portable terminal 1. The display position of the virtual furniture is specified on the basis of the position marker 21. Also, the scale reduction rate of the virtual furniture is specified on the basis of the size of the position marker 21. The virtual furniture is displayed by the specified scale reduction rate at the specified display position, and the furniture is overlapped with the image of the drawing 22 to create a virtual reality image, and the virtual reality image is displayed on a display monitor 4 of the portable terminal 1.SELECTED DRAWING: Figure 1

Description

本発明は、仮想現実作成装置、仮想現実作成プログラム、仮想現実作成方法、図表示用紙、製図用紙に関し、特に、間取り図面の画像と家具の仮想画像とを重ね合わせた仮想現実画像を作成する仮想現実作成装置等に関するものである。   The present invention relates to a virtual reality creation device, a virtual reality creation program, a virtual reality creation method, a diagram display sheet, and a drafting sheet, and more particularly, a virtual that creates a virtual reality image in which a floor plan image and a furniture virtual image are superimposed. The present invention relates to a reality creation device and the like.

近年、仮想現実を作り出す様々な技術が開発され、多くの分野で使用されている。
仮想現実技術の一種として、3次元コンピュータグラフィックス技術がある。
非特許文献1は、この3次元コンピュータグラフィックス技術で作成した仮想画像を利用した家具選びのシステムである。これはコンピュータが部屋の内部空間の仮想画像と、家具の仮想画像を作り、双方を合成することにより、その部屋に合う家具選びを行うものである。この技術を利用すれば、建築前であっても部屋と家具のイメージを仮想的に把握することができるので、部屋のイメージに合致した家具を簡易迅速に選ぶことができる。
In recent years, various technologies for creating virtual reality have been developed and used in many fields.
One type of virtual reality technology is three-dimensional computer graphics technology.
Non-Patent Document 1 is a furniture selection system using a virtual image created by this three-dimensional computer graphics technology. In this method, the computer creates a virtual image of the interior space of the room and a virtual image of the furniture, and combines the two to select furniture suitable for the room. By using this technology, it is possible to virtually grasp the image of the room and furniture even before construction, so that furniture that matches the image of the room can be selected easily and quickly.

しかし、この技術を利用するためには、床や壁の寸法など間取り図面に表された情報のほか、床や壁の色などの建築仕様書に記載された部屋の情報などをコンピュータに入力する必要がある。よって、このシステムを実施するには、多大な手間と費用がかかっていた。
また、このシステムは、間取り図面と建築仕様書双方が完成していないと実施できないので、間取り図面だけが完成したという状態では実施できなかった。
However, in order to use this technology, it is necessary to input information such as floor and wall dimensions shown in the floor plan as well as room information described in the building specifications such as floor and wall colors to the computer. is there. Therefore, it took a lot of time and effort to implement this system.
In addition, this system cannot be implemented unless both the floor plan and the architectural specification are completed, and therefore cannot be implemented in a state where only the floor plan is completed.

これに対し、AR(Augmented Reality、拡張現実)技術と呼ばれる仮想技術がある。この技術は、コンピュータが、現実にある物体を写し撮った画像と、コンピュータが作り出した仮想物の画像とを重ね合わせることにより、仮想現実を作り出す技術である。
非特許文献2は、このAR技術を利用した家具選びシステムである。このシステムは仮想家具の表示位置を特定する位置マーカーを利用するものであり、まず実在する部屋の任意の場所にこの位置マーカーを置く。そして、位置マーカーが置かれた部屋を携帯端末で撮影する。これにより、携帯端末は、位置マーカーの位置に仮想家具を表した画像を表示し、それと部屋の画像とを重ね合わせて仮想現実画像を作成し、それを家具購入希望者に閲覧させて家具選びをさせるものである。
このAR技術を使えば、家具のデータを入力するだけで足り、床や壁の色などの建築仕様書に記載された部屋のデータを入力する必要がないので、3次元コンピュータグラフィックス技術よりも、大幅に手間と費用が軽減される。
On the other hand, there is a virtual technology called AR (Augmented Reality) technology. This technology is a technology in which a computer creates a virtual reality by superimposing an image obtained by copying an actual object and an image of a virtual object created by the computer.
Non-Patent Document 2 is a furniture selection system using this AR technology. This system uses a position marker for specifying the display position of virtual furniture. First, this position marker is placed at an arbitrary place in an actual room. Then, the room where the position marker is placed is photographed with a portable terminal. As a result, the mobile terminal displays an image representing the virtual furniture at the position of the position marker, creates a virtual reality image by superimposing the image with the room image, and allows the furniture purchaser to view the image to select the furniture. It is what makes you.
With this AR technology, it is only necessary to input furniture data, and it is not necessary to input room data described in the building specifications such as floor and wall colors. Therefore, rather than 3D computer graphics technology, The labor and cost are greatly reduced.

http://www.lifestyle3d.net/、株式会社 リビングスタイルホームページ LIFSTYLE 3D NETWORK 新しい形のインテリアコーディネートの形、検索日2015年3月18日http: // www. lifestyle3d. net /, Living Style Home Page LIFSTYLE 3D NETWORK A new form of interior coordination, search date March 18, 2015 http://news.livedoor.com/article/detail/7469712/、livedoorニュース お部屋で手軽にカタログ家具をシミュレーション イオンのARアプリ、検索日2015年3月18日http: // news. livedoor. com / article / detail / 7469712 /, livedoor news Easily simulate catalog furniture in your room Aeon's AR app, search date March 18, 2015

しかし、このシステムは、現実に部屋があることが前提であり、現実に部屋がない場合には利用できない。すなわち、3次元コンピュータグラフィックス技術と同様、間取りを図面だけが完成しているという状態では利用できないのである。
このように、仮想現実技術を利用した家具選びに関する従来のシステムは、間取りを図面だけが完成しているという状態で家具選びを可能にするという発想はなく、それを実現する具体的手段もこれまで考えられていなかったのである。
However, this system is based on the premise that there is an actual room, and cannot be used when there is no actual room. That is, like the three-dimensional computer graphics technology, the floor plan cannot be used when only the drawing is completed.
As described above, the conventional system for selecting furniture using virtual reality technology does not have the idea of enabling furniture selection in a state where only the drawings are completed, and the specific means for realizing it is also this. It was not thought until.

本発明は、このような課題を解決するためのものであり、間取り図面しかできていない場合であっても、仮想現実技術を利用した家具選びを可能にするものであり、図面上で仮想的に家具の設置イメージを把握できる装置等を提供するものである。   The present invention is for solving such problems, and enables furniture selection using virtual reality technology even when only a floor plan is available. A device that can grasp the installation image of furniture is provided.

上記問題を解決するため、本発明では、仮想物の画像を、現実にある物体の画像に重ね合わせた仮想現実画像を作成する仮想現実作成装置において、紙面上に表された図と同一紙面上に表示されたものであって、前記紙面の表面の位置を特定する位置マーカーの情報を取得する位置マーカー情報取得手段と、前記仮想物を前記表面の位置に表示した画像を、前記図の画像に重ね合わせた仮想現実画像を作成する仮想現実画像作成手段とを備えることを特徴とする仮想現実作成装置が提供される。   In order to solve the above problems, in the present invention, in a virtual reality creation apparatus that creates a virtual reality image in which a virtual object image is superimposed on an actual object image, the same figure as the figure shown on the paper surface is used. The position marker information acquisition means for acquiring the position marker information for specifying the position of the surface of the paper, and the image in which the virtual object is displayed at the position of the surface. There is provided a virtual reality creation device comprising virtual reality image creation means for creating a virtual reality image superimposed on the virtual reality image.

本発明に係る仮想現実作成装置は、紙面上に表された図と同一紙面上に表示されたものであって、前記紙面の表面の位置を特定する位置マーカーの情報を取得する位置マーカー情報取得手段と、前記仮想物を前記表面の位置に表示した画像を、前記図の画像に重ね合わせた仮想現実画像を作成する仮想現実画像作成手段とを備える。
これにより、紙面上に表された図と同一紙面上に表示されたものであって、紙面の表面の位置を特定する位置マーカーの情報を取得し、仮想物をその表面の位置に表示した画像を、図の画像に重ね合わせた仮想現実画像を作成する。
The virtual reality creation device according to the present invention is displayed on the same sheet as the figure represented on the sheet, and acquires position marker information for acquiring position marker information for specifying the position of the surface of the sheet. And virtual reality image creating means for creating a virtual reality image in which an image in which the virtual object is displayed at the position of the surface is superimposed on the image of the figure.
As a result, the image displayed on the same paper surface as the figure shown on the paper surface, the information of the position marker for specifying the position of the surface of the paper surface is acquired, and the virtual object is displayed at the position of the surface A virtual reality image is created by superimposing the image on the image shown in the figure.

上記問題を解決するため、本発明では、仮想物の画像を、現実にある物体の画像に重ね合わせた仮想現実画像を作成する仮想現実作成プログラムにおいて、コンピュータを、紙面上に表された図と同一紙面上に表示されたものであって、前記紙面の表面の位置を特定する位置マーカーの情報を取得する位置マーカー情報取得手段、前記仮想物を前記表面の位置に表示した画像を、前記図の画像に重ね合わせた仮想現実画像を作成する仮想現実画像作成手段、として機能させることを特徴とする仮想現実作成プログラムが提供される。   In order to solve the above problems, in the present invention, in a virtual reality creation program for creating a virtual reality image in which a virtual object image is superimposed on an actual object image, a computer is represented on a sheet of paper. Position marker information acquisition means for acquiring position marker information for specifying the position of the surface of the paper, which is displayed on the same paper, and an image in which the virtual object is displayed at the position of the surface A virtual reality creation program is provided which functions as a virtual reality image creation means for creating a virtual reality image superimposed on the first image.

本発明に係る仮想現実作成プログラムは、紙面上に表された図と同一紙面上に表示されたものであって、コンピュータを、前記紙面の表面の位置を特定する位置マーカーの情報を取得する位置マーカー情報取得手段、前記仮想物を前記表面の位置に表示した画像を、前記図の画像に重ね合わせた仮想現実画像を作成する仮想現実画像作成手段として機能させる。
これにより、紙面上に表された図と同一紙面上に表示されたものであって、紙面の表面の位置を特定する位置マーカーの情報を取得し、仮想物をその表面の位置に表示した画像を、図の画像に重ね合わせた仮想現実画像を作成する。
The virtual reality creation program according to the present invention is displayed on the same sheet as the diagram represented on the sheet, and the computer acquires the position marker information for identifying the position of the surface of the sheet. Marker information acquisition means, which functions as virtual reality image creation means for creating a virtual reality image in which an image in which the virtual object is displayed at the position of the surface is superimposed on the image of the figure.
As a result, the image displayed on the same paper surface as the figure shown on the paper surface, the information of the position marker for specifying the position of the surface of the paper surface is acquired, and the virtual object is displayed at the position of the surface A virtual reality image is created by superimposing the image on the image shown in the figure.

上記問題を解決するため、本発明では、仮想物の画像を、現実にある物体の画像に重ね合わせた仮想現実画像を作成する仮想現実作成方法において、位置マーカー情報取得手段が、紙面上に表された図と同一紙面上に表示されたものであって、前記紙面の表面の位置を特定する位置マーカーの情報を取得するステップと、仮想現実画像作成手段が、前記仮想物を前記表面の位置に表示した画像を、前記図の画像に重ね合わせた仮想現実画像を作成するステップとを実行することを特徴とする仮想現実作成方法が提供される。   In order to solve the above problem, according to the present invention, in the virtual reality creation method for creating a virtual reality image in which a virtual object image is superimposed on an actual object image, the position marker information acquisition means is displayed on the paper. And a step of acquiring information of a position marker for specifying the position of the surface of the paper, and a virtual reality image creating means, wherein the virtual object is displayed on the surface of the surface. And a step of creating a virtual reality image obtained by superimposing the displayed image on the image shown in FIG.

本発明に係る仮想現実作成方法は、位置マーカー情報取得手段が、紙面上に表された図と同一紙面上に表示されたものであって、前記紙面の表面の位置を特定する位置マーカーの情報を取得するステップと、仮想現実画像作成手段が、前記仮想物を前記表面の位置に表示した画像を、前記図の画像に重ね合わせた仮想現実画像を作成するステップとを実行する。
これにより、紙面上に表された図と同一紙面上に表示されたものであって、紙面の表面の位置を特定する位置マーカーの情報を取得し、仮想物をその表面の位置に表示した画像を、図の画像に重ね合わせた仮想現実画像を作成する。
In the virtual reality creation method according to the present invention, the position marker information acquisition means is displayed on the same paper surface as the figure represented on the paper surface, and information on the position marker for specifying the position of the surface of the paper surface And a step of creating a virtual reality image in which the virtual reality image creating means superimposes the image in which the virtual object is displayed at the position of the surface on the image of the figure.
As a result, the image displayed on the same paper surface as the figure shown on the paper surface, the information of the position marker for specifying the position of the surface of the paper surface is acquired, and the virtual object is displayed at the position of the surface A virtual reality image is created by superimposing the image on the image shown in the figure.

上記問題を解決するため、本発明では、同一紙面上に、図と、前記紙面の表面の位置を特定する位置マーカーとを表示したことを特徴とする図表示用紙が提供される。   In order to solve the above problem, the present invention provides a figure display sheet characterized in that a figure and a position marker for specifying the position of the surface of the sheet are displayed on the same sheet.

本発明に係る図表示用紙は、同一紙面上に、図と、前記紙面の表面の位置を特定する位置マーカーとを表示する。これにより、図と紙面の表面の位置が特定される。   The figure display sheet according to the present invention displays a figure and a position marker for specifying the position of the surface of the sheet on the same sheet. Thereby, the position of the surface of the drawing and the paper surface is specified.

本発明に係る製図用紙は、同一紙面上に、図面作成の補助をするための補助線と、紙面の表面の位置を特定する位置マーカーとを表示したことを特徴とする製図用紙が提供される。これにより、補助線上に描かれる図と、紙面の表面の位置が特定される。   The drafting paper according to the present invention provides a drafting paper characterized in that an auxiliary line for assisting drawing creation and a position marker for specifying the position of the surface of the paper are displayed on the same paper. . Thereby, the figure drawn on the auxiliary line and the position of the surface of the paper are specified.

本発明は、紙面上に表された図と同一紙面上に表示されたものであって、紙面の表面の位置を特定する位置マーカーの情報を取得し、仮想物をその表面の位置に表示した画像を、図の画像に重ね合わせた仮想現実画像を作成する。
このようにすれば、間取り図面だけが完成している状態であっても、家具購入希望者は、図面上に家具を置いたイメージを閲覧することができ、その間取りに合致した家具を選ぶことができる。すなわち、家具購入希望者は、現実に部屋が建築されていない場合や、建築仕様書が完成していない場合であっても、図面上において家具の設置イメージを把握することができるのである。
The present invention is displayed on the same paper surface as the figure shown on the paper surface, acquires information of a position marker for specifying the position of the surface of the paper surface, and displays a virtual object at the position of the surface. A virtual reality image is created by superimposing the image on the image in the figure.
In this way, even if only the floor plan has been completed, the furniture purchaser can view the image of the furniture placed on the drawing and select the furniture that matches the floor plan. Can do. That is, the furniture purchaser can grasp the installation image of the furniture on the drawing even when the room is not actually constructed or the architectural specification is not completed.

本発明のハードウェア構成および機能構成の一例を表す図である。It is a figure showing an example of the hardware constitutions and functional constitution of this invention. 図表示用紙を表す図である。It is a figure showing a figure display paper. 図面を撮影した状態を表す図である。It is a figure showing the state which image | photographed drawing. 図面上にテーブルを表示した状態を表す図である。It is a figure showing the state which displayed the table on drawing. 図面上でテーブルを移動させた状態を表す図である。It is a figure showing the state which moved the table on drawing. 縮尺データの一例を表す図である。It is a figure showing an example of scale data. 第一の家具データを表した図である。It is a figure showing the 1st furniture data. 第二の家具データを表した図である。It is a figure showing the 2nd furniture data. 本発明を実施するためのフローチャートである。It is a flowchart for implementing this invention. STEP2の詳細な処理を表すフローチャートである。It is a flowchart showing the detailed process of STEP2. STEP4の詳細な処理を表すフローチャートである。It is a flowchart showing the detailed process of STEP4. 製図用紙を表した図である。It is a figure showing drawing paper. 製図用紙に線図を書き込んだ状態を表した図である。It is a figure showing the state which wrote the diagram on drafting paper. 代替マークを表示した製図用紙を表した図である。It is a figure showing the drafting paper which displayed the substitution mark.

本発明の第1実施例を図に基づいて説明する。
図1は、本実施例のハードウェア構成および機能構成を示した図である。
本実施例で利用される仮想現実作成装置としての携帯端末1は、情報処理部2とカメラ3と表示モニタ4とを備える。
情報処理部2は、位置マーカー情報取得部11、縮尺判断部12、家具表示部13とを備える。
A first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a diagram illustrating a hardware configuration and a functional configuration of the present embodiment.
A mobile terminal 1 as a virtual reality creation device used in the present embodiment includes an information processing unit 2, a camera 3, and a display monitor 4.
The information processing unit 2 includes a position marker information acquisition unit 11, a scale determination unit 12, and a furniture display unit 13.

カメラ3は、図面22と位置マーカー21の画像を撮影し、これを位置マーカー情報取得部11に送信する。
位置マーカー情報取得部11は、カメラ3が撮影した位置マーカー21の画像をカメラ3から受信し、その画像を解析し、解析結果を縮尺判断部12に送信する。
縮尺判断部12は、位置マーカー取得部11から解析結果を受信し、それに基づき表示する仮想の家具の縮尺率を取得し、その縮尺率により仮想家具を表示するよう家具表示部13に命令する。
家具表示部13は、取得した縮尺率により表された仮想家具を、図面22の画像に重ね合わせ、その画像を表示モニタ4に表示する。
The camera 3 takes images of the drawing 22 and the position marker 21 and transmits them to the position marker information acquisition unit 11.
The position marker information acquisition unit 11 receives an image of the position marker 21 taken by the camera 3 from the camera 3, analyzes the image, and transmits the analysis result to the scale determination unit 12.
The scale determination unit 12 receives the analysis result from the position marker acquisition unit 11, acquires the scale ratio of the virtual furniture to be displayed based on the analysis result, and instructs the furniture display unit 13 to display the virtual furniture based on the scale ratio.
The furniture display unit 13 superimposes the virtual furniture represented by the acquired scale ratio on the image of the drawing 22 and displays the image on the display monitor 4.

図2は、図面を表示した用紙(図表示用紙20)である。
この図表示用紙20には、マンションの間取りの平面図面22が表されており、平面図面22と同一紙面上に位置マーカー21が表示されている。この位置マーカー21は、従来のAR技術で利用されているものである。位置マーカー21は、図表示用紙20とは別体の用紙(シール状の用紙)に印刷されており、このシールを図表示用紙20の所定の場所に貼り付けることにより、図表示用紙20に表示される。なお、位置マーカー21は、図表示用紙20に予め印刷してもよい。
FIG. 2 shows a sheet (drawing display sheet 20) on which a drawing is displayed.
The figure display sheet 20 shows a floor plan 22 of the floor plan of the apartment, and a position marker 21 is displayed on the same sheet as the plane drawing 22. The position marker 21 is used in the conventional AR technology. The position marker 21 is printed on a sheet (seal-shaped sheet) separate from the figure display sheet 20, and is displayed on the figure display sheet 20 by pasting this sticker on a predetermined location of the figure display sheet 20. Is done. The position marker 21 may be printed in advance on the figure display sheet 20.

次に、携帯端末1の表示モニタ4に表示される内容について説明する。
図3は、携帯端末1が図表示用紙20と位置マーカー21とを撮影している状態であり、これにより仮想家具を表示する位置が特定される。また、表示モニタ4には、表示可能な家具の種類を選択する選択ボタン23が表示されている。なお、ここではテーブルが選択されたものとする。
図4は、仮想家具としてのテーブル24を、図表示用紙20上の任意の場所に表示した図である。
図5は、家具購入希望者が図4のテーブル24を指で触れ、ドラッグアンドドロップすることによりダイニングキッチンの中央に移動させた図である。
Next, contents displayed on the display monitor 4 of the mobile terminal 1 will be described.
FIG. 3 shows a state in which the portable terminal 1 is shooting the figure display sheet 20 and the position marker 21, and the position for displaying the virtual furniture is thereby specified. The display monitor 4 also displays a selection button 23 for selecting the type of furniture that can be displayed. Here, it is assumed that a table is selected.
FIG. 4 is a diagram in which the table 24 as virtual furniture is displayed at an arbitrary place on the diagram display sheet 20.
FIG. 5 is a diagram in which the furniture purchase applicant moves the table 24 of FIG. 4 to the center of the dining kitchen by dragging and dropping the table 24 with a finger.

次に、携帯端末1に記憶されているデータについて説明する。
図6は、縮尺データであり、位置マーカー21のサイズと、表示する仮想家具の縮尺率とを関連づけたものである。例えば、情報処理部2は、位置マーカー21のサイズが2センチ四方の場合は、仮想家具を80分の1で表示する。
Next, data stored in the mobile terminal 1 will be described.
FIG. 6 shows scale data, which associates the size of the position marker 21 with the scale ratio of the virtual furniture to be displayed. For example, the information processing unit 2 displays virtual furniture in 1/80 when the size of the position marker 21 is 2 cm square.

図7は、家具データ(1)であり、家具の種類と家具のイメージデータとを関連づけたものである。例えば、図3の選択ボタン23においてテーブルが選択された場合、情報処理部2は、テーブル24のイメージデータを表示モニタ4に表示する。   FIG. 7 shows furniture data (1) in which the type of furniture is associated with the image data of the furniture. For example, when a table is selected with the selection button 23 in FIG. 3, the information processing unit 2 displays the image data of the table 24 on the display monitor 4.

図8は、家具データ(2)であり、位置マーカー特定情報と、縮尺率と、家具の種類と、家具のイメージデータとを関連づけたものである。図6および図7と異なり、位置マーカー21には位置マーカー特定情報が含まれ、その情報から縮尺率や家具の種類を特定することができるようにしたデータである。   FIG. 8 shows furniture data (2), in which position marker specifying information, a scale ratio, furniture types, and furniture image data are associated with each other. Unlike FIG. 6 and FIG. 7, the position marker 21 includes position marker specifying information, and is data in which the scale ratio and the type of furniture can be specified from the information.

次に、本実施例の処理手順について説明する。
図9は、本実施例の処理手順を示すフローチャートである。このフローチャートは、位置マーカー貼り付け処理(STEP1)、位置マーカー情報取得処理(STEP2)、縮尺判断処理(STEP3)、家具選択・表示処理(STEP4)とからなる。
Next, the processing procedure of the present embodiment will be described.
FIG. 9 is a flowchart showing the processing procedure of this embodiment. This flowchart includes a position marker pasting process (STEP 1), a position marker information acquisition process (STEP 2), a scale determination process (STEP 3), and a furniture selection / display process (STEP 4).

STEP1は、位置マーカー貼り付け処理である。
前述の通り、位置マーカー21は、シール状の用紙に印刷されており、このシールは図表示用紙20の所定の場所に貼り付けられる。なお、位置マーカー21は、図表示用紙10に予め印刷してもよい。すなわち、位置マーカー21は、何らかの手段により図表示用紙20上に表示されていればよい。
STEP 1 is a position marker pasting process.
As described above, the position marker 21 is printed on a sticker-like paper, and this sticker is attached to a predetermined location on the figure display paper 20. The position marker 21 may be printed in advance on the figure display sheet 10. That is, the position marker 21 may be displayed on the figure display sheet 20 by some means.

STEP2は、位置マーカー情報取得処理であり、詳細は図10の通りである。
STEP2−1は、カメラ起動処理である。家具購入希望者は、携帯端末1のカメラ機能を起動させ、カメラ3を図表示用紙20に向ける。
STEP2 is position marker information acquisition processing, and details are as shown in FIG.
STEP 2-1 is a camera activation process. A person who wants to purchase furniture activates the camera function of the mobile terminal 1 and points the camera 3 toward the figure display sheet 20.

STEP2−2は、位置マーカー検知処理である。
位置マーカー情報取得部11は、カメラ3から撮影画像を受信し、そこに位置マーカー21が存在するか否かを判断する。存在する場合は図22の画像と位置マーカー21の画像とを取得して、STEP2−3に進み、存在しない場合は存在するまでSTEP2−2を繰り返す。なお、この位置を検知することにより図表示用紙20の表面の位置が特定でき、これにより仮想の家具の表示位置を特定できる。
STEP2-2 is a position marker detection process.
The position marker information acquisition unit 11 receives a captured image from the camera 3 and determines whether or not the position marker 21 exists there. When it exists, the image of FIG. 22 and the image of the position marker 21 are acquired, and it progresses to STEP2-3, and when it does not exist, STEP2-2 is repeated until it exists. By detecting this position, the position of the surface of the figure display sheet 20 can be specified, and thereby the display position of the virtual furniture can be specified.

STEP2−3は、位置マーカーサイズ取得処理である。
位置マーカー取得部11は、検知した位置マーカー21のサイズを検知(取得)する。なお、位置マーカー21のサイズは、位置マーカー21から取得した情報に含まれている場合でもよいし、位置マーカー21を撮影した画像からサイズを検知してもよい。
STEP 2-3 is a position marker size acquisition process.
The position marker acquisition unit 11 detects (acquires) the size of the detected position marker 21. The size of the position marker 21 may be included in the information acquired from the position marker 21, or the size may be detected from an image obtained by photographing the position marker 21.

STEP2−4は、位置マーカー特定情報取得処理である。
位置マーカー情報取得部11は、検知した位置マーカー21から位置マーカー特定情報を取得する。すなわち、位置マーカー21の模様や図形から「M001」などのような情報を取得する。また、位置マーカー21の情報に基づいて家具の表示位置を特定する。
STEP2-4 is a position marker specific information acquisition process.
The position marker information acquisition unit 11 acquires position marker specifying information from the detected position marker 21. That is, information such as “M001” is acquired from the pattern or figure of the position marker 21. Further, the display position of the furniture is specified based on the information of the position marker 21.

STEP3は、縮尺判断処理である。
縮尺判断部12は、取得した位置マーカー21のサイズと、図6「縮尺データ」とに基づき、表示する家具の縮尺率(家具の表示サイズ)を判断する。例えば、位置マーカー21のサイズが2センチ四方の場合は「1/80」という縮尺率を取得する。これにより、縮尺率を手入力することなく図面22の縮尺率に合致した家具の表示サイズが決定され、現実の家具の1/80のサイズの仮想家具が表示される。
また、取得した位置マーカー特定情報と図8の「家具データ(2)」とに基づいて縮尺率を判断してもよい。例えば、取得した位置マーカー特定情報が「M002」の場合、「1/60」という縮尺率を取得する。
STEP 3 is a scale determination process.
The scale determination unit 12 determines the scale ratio (furniture display size) of the furniture to be displayed based on the acquired size of the position marker 21 and “scale data” in FIG. 6. For example, when the size of the position marker 21 is 2 cm square, a scale ratio of “1/80” is acquired. As a result, the display size of the furniture that matches the scale ratio of the drawing 22 is determined without manually inputting the scale ratio, and virtual furniture having a size 1/80 of the actual furniture is displayed.
Further, the scale ratio may be determined based on the acquired position marker specifying information and “furniture data (2)” in FIG. For example, when the acquired position marker specifying information is “M002”, a scale ratio of “1/60” is acquired.

STEP4は、家具選択・表示処理であり、詳細は図11の通りである。
STEP4−1は、家具種表示処理である。
家具表示部13は、図3のように家具の種類の選択ボタン23を表示モニタ4に表示する。
STEP 4 is furniture selection / display processing, and details are as shown in FIG.
STEP4-1 is a furniture type display process.
The furniture display unit 13 displays a furniture type selection button 23 on the display monitor 4 as shown in FIG.

STEP4−2は、家具選択処理である。
家具表示部13は、家具の種類が選択されたか(タップされたか)否かを判断し、選択された場合はSTEP4−3に進み、選択されていない場合はSTEP4−2を繰り返す。
STEP4-2 is a furniture selection process.
The furniture display unit 13 determines whether or not the type of furniture has been selected (tapped), and if selected, proceeds to STEP 4-3, and if not selected, repeats STEP 4-2.

STEP4−3は、家具選択処理である。
家具表示部13は、選択された家具のイメージを、検知した位置マーカー21の情報と取得した縮尺率とに基づいて表示モニタ4に表示する。すなわち、仮想の家具(テーブル24)の画像を、図表示用紙20上の図22の画像に重ね合わせ、あたかも図面20の上にテーブル24が設置されているかのような仮想現実画像を作成し、これを表示モニタ4に表示する。
なお、本実施例では、家具の種類を選択ボタン23を用いて決定しているが、図8のように位置マーカー特定情報(種類特定情報)に基づいて家具の種類を決定してもよい。
STEP 4-3 is a furniture selection process.
The furniture display unit 13 displays the image of the selected furniture on the display monitor 4 based on the detected position marker 21 information and the acquired scale ratio. That is, the image of the virtual furniture (table 24) is superimposed on the image of FIG. 22 on the diagram display sheet 20, and a virtual reality image is created as if the table 24 is installed on the drawing 20. This is displayed on the display monitor 4.
In this embodiment, the type of furniture is determined using the selection button 23, but the type of furniture may be determined based on position marker specifying information (type specifying information) as shown in FIG.

本発明の第2の実施例を図に基づいて説明する。
図12の符号30は製図用紙である。この製図用紙30には、実施例1で説明した位置マーカー21が表示されている。また、位置マーカー21と同一紙面上に、図面作成の補助をするための補助線31が格子状に表示されている。図面作製者は、この補助線31に従って図13のように図面を書き進め、図面を完成させる。これにより実施例1と同様、図面上に仮想の家具を表示させることができる。
A second embodiment of the present invention will be described with reference to the drawings.
Reference numeral 30 in FIG. 12 is a drawing sheet. On the drafting paper 30, the position marker 21 described in the first embodiment is displayed. In addition, auxiliary lines 31 for assisting drawing creation are displayed in a grid pattern on the same sheet as the position marker 21. The drawing creator advances the drawing as shown in FIG. 13 according to the auxiliary line 31 and completes the drawing. As a result, similar to the first embodiment, virtual furniture can be displayed on the drawing.

図14は図12の製図用紙30と同様のものであるが、代替マーク32が表示されている点で異なる。この代替マーク32は携帯端末1が位置マーカー21を検知できなくなった場合に使用されるものである。以下、代替マーク32について説明する。
上記の通り、本発明では、位置マーカー21を手がかりに製図用紙30の表面の位置を特定し、それにより家具が製図用紙30上に置かれているかのような仮想画像を作成する。しかし、家具購入希望者が携帯端末1を動かしているうちに、位置マーカー21がカメラ3の撮影範囲から外れてしまうこと(フレームアウトしてしまうこと)があり、この場合、携帯端末1は製図用紙30の表面の位置を特定できなくなってしまう。
FIG. 14 is the same as the drafting paper 30 of FIG. 12, but differs in that an alternative mark 32 is displayed. This substitution mark 32 is used when the mobile terminal 1 can no longer detect the position marker 21. Hereinafter, the substitution mark 32 will be described.
As described above, in the present invention, the position of the surface of the drawing paper 30 is specified using the position marker 21 as a clue, thereby creating a virtual image as if the furniture is placed on the drawing paper 30. However, while the furniture purchaser is moving the mobile terminal 1, the position marker 21 may be out of the shooting range of the camera 3 (out of the frame). In this case, the mobile terminal 1 is drafted. The position of the surface of the paper 30 cannot be specified.

実施例1の場合であれば、ダイニングキッチンの形状など図面22に表された特異な形を手がかりに用紙の表面を特定できる。すなわち、携帯端末1は、位置マーカー21で用紙の表面を特定すると共に、図面22に表されている特異な形状を検知して、位置マーカー21がフレームアウトした際にはその特異な形状を基に用紙の表面を特定するのである。
しかし、本実施例の製図用紙30の場合、格子状の補助線31(同じ形状の複数の四角形)が表示されているだけで、特異な形状がないため、位置マーカー21がフレームアウトすると製図用紙30の表面を特定できない。
そこで、製図用紙30上に各々異なる形状(数字を含む)、または異なる模様、または異なる色により構成される代替マーク32を複数表示する。これにより、位置マーカー21がフレームアウトした場合でも、代替マーク32を手がかりに製図用紙30の表面を特定することができる。なお、代替マーク32は、位置マーカー21と接近した位置ではなく、所定の間隔・距離を空けて表示することが好ましい。また、代替マーク32は紙面上に複数表示されていてもよいし、1つだけ表示されていてよい。
In the case of the first embodiment, the surface of the paper can be specified by using the unique shape shown in the drawing 22 such as the shape of the dining kitchen. That is, the mobile terminal 1 identifies the surface of the sheet with the position marker 21 and detects the unique shape shown in FIG. 22. When the position marker 21 is out of frame, the portable terminal 1 uses the unique shape. The surface of the paper is specified.
However, in the case of the drawing paper 30 of the present embodiment, only the grid-like auxiliary lines 31 (a plurality of squares having the same shape) are displayed, and there is no unique shape. 30 surfaces cannot be specified.
Therefore, a plurality of alternative marks 32 each having a different shape (including numerals), different patterns, or different colors are displayed on the drawing sheet 30. Thereby, even when the position marker 21 is out of the frame, the surface of the drawing paper 30 can be specified using the substitute mark 32 as a clue. The substitute mark 32 is preferably displayed at a predetermined interval / distance rather than a position close to the position marker 21. Further, a plurality of substitution marks 32 may be displayed on the page, or only one may be displayed.

本実施例では、特定の例に基づいて本発明の内容を説明したが、本発明はこれに限るものではない。また、携帯端末の例としては、スマートフォン、タブレット型のPC、携帯電話など様々な機器が利用される。更に、上記実施例では家具を例に説明したが、これに限るものではなく、キッチンや家電などの他の室内設置物であってもよい。   In the present embodiment, the content of the present invention has been described based on a specific example, but the present invention is not limited to this. As examples of mobile terminals, various devices such as smartphones, tablet PCs, and mobile phones are used. Furthermore, although the said Example demonstrated the furniture to the example, it is not restricted to this, Other indoor installation objects, such as a kitchen and a household appliance, may be sufficient.

この実施例は本発明の範囲を限定するものではない。本実施例で説明した各処理はどの装置で行ってもよい。
また、本実施例で説明したシステム構成(ハードウェア構成)は一例であり、用途や目的に応じて様々な構成があることは言うまでもない。
更に、本実施例で説明したデータ構成は一例であり、用途や目的に応じて様々なデータ構成があることは言うまでもない。
This example does not limit the scope of the invention. Each process described in the present embodiment may be performed by any apparatus.
In addition, the system configuration (hardware configuration) described in the present embodiment is an example, and it goes without saying that there are various configurations depending on applications and purposes.
Furthermore, the data configuration described in the present embodiment is an example, and it goes without saying that there are various data configurations depending on applications and purposes.

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、本発明に係る装置が有すべき機能の処理内容を記述した本発明に係るプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述した本発明に係るプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどがある。磁気記録装置には、HDD、FD、磁気テープなどがある。光ディスクには、DVD(Digital Versatile Disc)、DVD−RAM、CD−ROM、CD−R(Recordable)/RW(ReWritable)などがある。光磁気記録装置には、 MO(Magneto Optical disk)などがある。   The above processing functions can be realized by a computer. In that case, a program according to the present invention describing the processing contents of the functions that the apparatus according to the present invention should have is provided. By executing the program on a computer, the above processing functions are realized on the computer. The program according to the present invention describing the processing content can be recorded on a computer-readable recording medium. Examples of the computer-readable recording medium include a magnetic recording device, an optical disk, a magneto-optical recording medium, and a semiconductor memory. Magnetic recording devices include HDDs, FDs, magnetic tapes, and the like. Examples of the optical disc include a DVD (Digital Versatile Disc), a DVD-RAM, a CD-ROM, and a CD-R (Recordable) / RW (ReWriteable). Examples of the magneto-optical recording device include an MO (Magneto Optical disk).

本発明に係るプログラムを流通させる場合には、たとえば、そのプログラムが記録されたDVD、CD−ROMなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。   When the program according to the present invention is distributed, for example, portable recording media such as DVDs and CD-ROMs on which the program is recorded are sold. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.

本発明に係るプログラムを実行するコンピュータは、たとえば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置から本発明に係るプログラムを読み取り、そのプログラムに従った処理を実行する。
なお、コンピュータは、可搬型記録媒体からそのプログラムを読み取り、プログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送される毎に、逐次、受け取ったプログラムに従った処理を実行することもできる。
A computer that executes a program according to the present invention stores, for example, a program recorded on a portable recording medium or a program transferred from a server computer in its own storage device. Then, the computer reads the program according to the present invention from its own storage device and executes processing according to the program.
The computer can also read the program from the portable recording medium and execute processing according to the program. In addition, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.

なお、本発明は、上述の実施の形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加えることができる。   The present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the gist of the present invention.

上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および 応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。   The above merely illustrates the principle of the present invention. In addition, many modifications and changes can be made by those skilled in the art, and the present invention is not limited to the exact configuration and application shown and described above, and all corresponding modifications and equivalents may be And the equivalents thereof are considered to be within the scope of the invention.

1 携帯端末
2 情報処理部
3 カメラ
4 表示モニタ
20 図表示用紙
21 位置マーカー
22 図面
23 選択ボタン
24 テーブル(仮想家具)
30 製図用紙
31 補助線
32 代替マーク
DESCRIPTION OF SYMBOLS 1 Portable terminal 2 Information processing part 3 Camera 4 Display monitor 20 Drawing display paper 21 Position marker 22 Drawing 23 Selection button 24 Table (virtual furniture)
30 Drafting paper 31 Auxiliary line 32 Alternative mark

Claims (11)

仮想物の画像を、現実にある物体の画像に重ね合わせた仮想現実画像を作成する仮想現実作成装置において、
紙面上に表された図と同一紙面上に表示されたものであって、前記紙面の表面の位置を特定する位置マーカーの情報を取得する位置マーカー情報取得手段と、
前記仮想物を前記表面の位置に表示した画像を、前記図の画像に重ね合わせた仮想現実画像を作成する仮想現実画像作成手段と、
を備えることを特徴とする仮想現実作成装置。
In a virtual reality creation device that creates a virtual reality image in which an image of a virtual object is superimposed on an image of an actual object,
A position marker information acquisition means that is displayed on the same paper surface as the figure shown on the paper surface, and acquires information of a position marker that specifies the position of the surface of the paper surface;
Virtual reality image creation means for creating a virtual reality image in which an image in which the virtual object is displayed at the position of the surface is superimposed on the image of the figure;
A virtual reality creation device comprising:
前記仮想物の表示サイズは、前記位置マーカーの大きさに応じて決定されることを特徴とする請求項1記載の仮想現実作成装置。   The virtual reality creation apparatus according to claim 1, wherein a display size of the virtual object is determined according to a size of the position marker. 前記図は建物の間取り図面であり、
前記仮想物は室内設置物であり、
前記仮想現実画像は、前記図面の上に前記室内設置物を置いた画像を含むことを特定することを特徴とする請求項1記載の仮想現実作成装置。
The figure is a floor plan of the building,
The virtual object is an indoor installation,
2. The virtual reality creation apparatus according to claim 1, wherein the virtual reality image is specified to include an image in which the indoor installation object is placed on the drawing.
前記位置マーカーの情報には前記室内設置物の種類を特定する種類特定情報が含まれ、
前記仮想現実画像に含まれる前記室内設置物は、前記種類特定情報により特定されることを特徴とする請求項1記載の仮想現実作成装置。
The position marker information includes type specifying information for specifying the type of the indoor installation,
The virtual reality creation apparatus according to claim 1, wherein the indoor installation object included in the virtual reality image is specified by the type specifying information.
前記紙面には、その紙面とは別体の用紙が貼り付けられており、
前記位置マーカーは前記別体の用紙に表示されていることを特徴とする請求項1記載の仮想現実作成装置。
On the paper surface, a separate paper from the paper surface is affixed,
The virtual reality creating apparatus according to claim 1, wherein the position marker is displayed on the separate sheet.
仮想物の画像を、現実にある物体の画像に重ね合わせた仮想現実画像を作成する仮想現実作成プログラムにおいて、
コンピュータを、
紙面上に表された図と同一紙面上に表示されたものであって、前記紙面の表面の位置を特定する位置マーカーの情報を取得する位置マーカー情報取得手段、
前記仮想物を前記表面の位置に表示した画像を、前記図の画像に重ね合わせた仮想現実画像を作成する仮想現実画像作成手段、
として機能させることを特徴とする仮想現実作成プログラム。
In a virtual reality creation program that creates a virtual reality image in which an image of a virtual object is superimposed on an image of an actual object,
Computer
Position marker information acquisition means for acquiring information of a position marker that is displayed on the same paper surface as the figure shown on the paper surface and that specifies the position of the surface of the paper surface,
Virtual reality image creating means for creating a virtual reality image in which an image in which the virtual object is displayed at the position of the surface is superimposed on the image of the figure;
A virtual reality creation program characterized by functioning as
仮想物の画像を、現実にある物体の画像に重ね合わせた仮想現実画像を作成する仮想現実作成方法において、
位置マーカー情報取得手段が、紙面上に表された図と同一紙面上に表示されたものであって、前記紙面の表面の位置を特定する位置マーカーの情報を取得するステップと、
仮想現実画像作成手段が、前記仮想物を前記表面の位置に表示した画像を、前記図の画像に重ね合わせた仮想現実画像を作成するステップと、
を実行することを特徴とする仮想現実作成方法。
In a virtual reality creation method of creating a virtual reality image in which a virtual object image is superimposed on an actual object image,
The position marker information acquisition means is displayed on the same sheet as the figure represented on the sheet, and acquires the information of the position marker for specifying the position of the surface of the sheet;
A virtual reality image creating means creating a virtual reality image in which an image in which the virtual object is displayed at the position of the surface is superimposed on the image of the figure;
The virtual reality creation method characterized by performing this.
同一紙面上に、図と、前記紙面の表面の位置を特定する位置マーカーと、
を表示したことを特徴とする図表示用紙。
On the same sheet, a figure and a position marker for specifying the position of the surface of the sheet,
Figure display paper characterized by displaying.
同一紙面上に、図面作成の補助をするための補助線と、前記紙面の表面の位置を特定する位置マーカーと、
を表示したことを特徴とする製図用紙。
On the same paper surface, an auxiliary line for assisting drawing creation, a position marker for specifying the position of the surface of the paper surface,
Drawing paper characterized by displaying.
前記位置マーカーの検知が不能となった場合に、前記位置マーカーの代替えとなる代替マークを、前記紙面上に表示したことを特徴とする請求項9記載の製図用紙。   10. The drafting sheet according to claim 9, wherein, when the position marker cannot be detected, a substitute mark that replaces the position marker is displayed on the sheet. 前記代替マークは、前記紙面上に複数表示されるものであり、
複数の前記代替マークは、各々異なる形状または異なる模様または異なる色により構成されていることを特徴とする請求項10記載の製図用紙。
A plurality of the substitute marks are displayed on the paper surface,
11. The drafting sheet according to claim 10, wherein the plurality of substitution marks are configured by different shapes, different patterns, or different colors.
JP2015068942A 2015-03-30 2015-03-30 Virtual reality creation device, virtual reality creation program, virtual reality creation method, drawing display sheet, and drafting paper Pending JP2016189124A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015068942A JP2016189124A (en) 2015-03-30 2015-03-30 Virtual reality creation device, virtual reality creation program, virtual reality creation method, drawing display sheet, and drafting paper

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015068942A JP2016189124A (en) 2015-03-30 2015-03-30 Virtual reality creation device, virtual reality creation program, virtual reality creation method, drawing display sheet, and drafting paper

Publications (1)

Publication Number Publication Date
JP2016189124A true JP2016189124A (en) 2016-11-04

Family

ID=57239769

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015068942A Pending JP2016189124A (en) 2015-03-30 2015-03-30 Virtual reality creation device, virtual reality creation program, virtual reality creation method, drawing display sheet, and drafting paper

Country Status (1)

Country Link
JP (1) JP2016189124A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111492646A (en) * 2017-12-18 2020-08-04 三星电子株式会社 Electronic device and operation method thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111492646A (en) * 2017-12-18 2020-08-04 三星电子株式会社 Electronic device and operation method thereof
US11153491B2 (en) 2017-12-18 2021-10-19 Samsung Electronics Co., Ltd. Electronic device and method for operating same
CN111492646B (en) * 2017-12-18 2022-01-25 三星电子株式会社 Electronic device and operation method thereof

Similar Documents

Publication Publication Date Title
US10755485B2 (en) Augmented reality product preview
US10579134B2 (en) Improving advertisement relevance
CN104777997B (en) Show equipment and its operating method
US9214137B2 (en) Methods and systems for realistic rendering of digital objects in augmented reality
JP6265027B2 (en) Display device, position specifying program, and position specifying method
JP6753785B2 (en) Location-based information processing methods and equipment
US20210166030A1 (en) Augmented reality apparatus and method
JP6618700B2 (en) Information distribution method, information distribution program, and information distribution apparatus
KR20160033495A (en) Apparatus and method for arranging furniture using augmented reality
Schreiner et al. Connichiwa: a framework for cross-device web applications
US20130024819A1 (en) Systems and methods for gesture-based creation of interactive hotspots in a real world environment
CN104808956B (en) System and method for controlling display
CN103823553B (en) The augmented reality of the scene of surface behind is shown
CN104423806B (en) Information processing unit, information processing method and program
JP6264870B2 (en) Information providing apparatus, program, and system
CN104427282B (en) Information processing unit, information processing method and program
US20170212906A1 (en) Interacting with user interfacr elements representing files
JP2016174914A5 (en)
CN111954045A (en) Augmented reality device and method
JP6101393B1 (en) Information processing apparatus, control method, and program
JP2016189124A (en) Virtual reality creation device, virtual reality creation program, virtual reality creation method, drawing display sheet, and drafting paper
JP2016213776A (en) Video projection device, video projection program, video projection method, virtual reality creation device, virtual reality creation program, and virtual reality creation method
JP2009229605A (en) Activity process reflection support system
JP2014149791A (en) Augmented reality program and registration program
Letellier et al. Providing adittional content to print media using augmented reality