JP2017033294A - Three-dimensional drawing system and three-dimensional drawing program - Google Patents

Three-dimensional drawing system and three-dimensional drawing program Download PDF

Info

Publication number
JP2017033294A
JP2017033294A JP2015152731A JP2015152731A JP2017033294A JP 2017033294 A JP2017033294 A JP 2017033294A JP 2015152731 A JP2015152731 A JP 2015152731A JP 2015152731 A JP2015152731 A JP 2015152731A JP 2017033294 A JP2017033294 A JP 2017033294A
Authority
JP
Japan
Prior art keywords
unit
locus
space
virtual space
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015152731A
Other languages
Japanese (ja)
Inventor
伊東大騎
Daiki Ito
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IMG SRC Inc
Original Assignee
IMG SRC Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IMG SRC Inc filed Critical IMG SRC Inc
Priority to JP2015152731A priority Critical patent/JP2017033294A/en
Publication of JP2017033294A publication Critical patent/JP2017033294A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To realize a three-dimensional drawing system with a high degree of freedom in expression.SOLUTION: A motion capture device 20 acquires a locus of action of a tablet terminal 10 and a locus drawing unit 15 generates a locus image on the basis of the acquired position information. A browsing device 13 of the tablet terminal 10 can display the drawn locus image and the displayed locus image is converted based on the position of the tablet terminal 10. The locus image generated by the locus drawing unit 15 is combined with virtual space data by a display control unit 14 to be displayed on a screen of the tablet terminal 10.SELECTED DRAWING: Figure 6

Description

本発明は、3次元描画システムに関するものである。   The present invention relates to a three-dimensional drawing system.

AR(拡張現実)やVR(仮想現実)を活用した技術は日々進化をしたおり、様々なハードウェアを通じたこれらの体験が可能なシステムが提案されている。例えば、特許文献1においては、モーションキャプチャを用いた仮想試着システムが提示されており、ユーザを撮影し、ユーザが現実に着用している服を、仮想服に置き換えた画像を表示するシステムである。仮想試着システムは、認識対象のユーザに対応して操作される操作対象である人型の仮想オブジェクト画像を、モーションキャプチャに必要な情報を抽出するためのポーズで表示させる。本技術は、例えば、ARを洋服の試着に応用した画像処理を行う画像処理装置に適用できる。   Technologies that utilize AR (augmented reality) and VR (virtual reality) are evolving day by day, and systems that allow these experiences through various hardware have been proposed. For example, in Patent Document 1, a virtual try-on system using motion capture is presented, which is a system that captures a user and displays an image in which clothes that the user actually wears are replaced with virtual clothes. . The virtual try-on system displays a humanoid virtual object image that is an operation target operated in response to a user to be recognized, in a pose for extracting information necessary for motion capture. The present technology can be applied to, for example, an image processing apparatus that performs image processing in which AR is applied to trying on clothes.

また、特許文献2では、実際の空間内の壁などの表面上に仮想現実の画像を表示し、ヘッドマウントディスプレイなどを装着したユーザーが、当該画像に対して操作を実施可能なように構成したシステムが開示されている。 In Patent Document 2, a virtual reality image is displayed on a surface such as a wall in an actual space, and a user wearing a head-mounted display or the like is configured to be able to perform operations on the image. A system is disclosed.

特開2012−252437号公報JP 2012-252437 A 特表2014−515854号公報Special table 2014-515854 gazette

以上のように、拡張現実や仮想現実の技術と、モーションキャプチャの技術とを組み合わせることで、様々な表現を3次元の空間内において実現することが可能となっている。しかしながら、上記従来の技術で開示されているものは予め設定されたオブジェクトなどに対する操作が示されてはいるものの、それ以上のより自由度の高い表現の実現手段においては、未だ実現されていない状態であった。 As described above, various expressions can be realized in a three-dimensional space by combining augmented reality or virtual reality technology and motion capture technology. However, although what is disclosed in the above prior art shows an operation on a preset object or the like, it has not yet been realized in a means for realizing a more flexible expression than that described above. Met.

本発明は上記課題を解決するためのものであり、3次元空間内での拡張現実や仮想現実を用いた自由な表現を可能とする技術を実現することを目的とする。 The present invention is to solve the above-described problems, and an object of the present invention is to realize a technique that enables free expression using augmented reality and virtual reality in a three-dimensional space.

上記課題を解決するために、実施形態の3次元描画システムは、対象とする空間、及び空間内に位置する対象物を撮影する複数の撮影部と、前記撮影部によって前記対象とする空間内での位置が把握可能な第1マーカーを取り付けられた描画装置と、利用者が携帯可能であって、第2マーカーが付与されて前記対象とする空間内での絶対位置を算出可能であって、利用者が閲覧可能な画面を備える閲覧装置と、前記撮影部によって撮影されることによって、取得された前記描画装置の軌跡の位置情報、及び前記閲覧装置の位置情報をリアルタイムに前記閲覧装置へと送信する送信部と、前記撮影部によって撮影された画像から、対象とする空間の実際の大きさと同様の仮想空間データを生成する空間生成部と、受信した前記描画装置の軌跡の位置情報に基づいて前記描画装置の軌跡画像を前記仮想空間データ内において描画する軌跡描画部と、受信した前記閲覧装置の位置情報から、前記閲覧装置からの視点で閲覧が可能なように前記対象とする空間の前記仮想空間データを変換する空間変換部と、前記軌跡画像と、前記空間変換部によって変換された前記仮想空間データと合成し、前記画面に表示させる表示制御部と、を備えることを特徴とする。 In order to solve the above-described problem, the three-dimensional drawing system according to the embodiment includes a plurality of photographing units that photograph a target space and a target object located in the space, and the target space by the photographing unit. A drawing device attached with a first marker capable of grasping the position of the image, and a user that is portable and capable of calculating an absolute position in the target space given the second marker, The browsing device having a screen that can be browsed by the user, and the position information of the trajectory of the drawing device and the position information of the browsing device acquired by being photographed by the photographing unit to the browsing device in real time. A transmitting unit for transmitting, a space generating unit for generating virtual space data similar to the actual size of the target space from the image captured by the imaging unit, and the received locus of the drawing device The object of the trajectory drawing unit that draws the trajectory image of the drawing device in the virtual space data based on the position information and the received position information of the browsing device so that the object can be viewed from the viewpoint of the browsing device. A space conversion unit that converts the virtual space data of the space, a trajectory image, and a display control unit that synthesizes the virtual space data converted by the space conversion unit and displays it on the screen. It is characterized by.

更には、前記描画装置は、描画された前記仮想空間データ内における軌跡の線の太さ、種類、色、及び質感の少なくとも1つを描画前に選択可能な選択部を備え、前記軌跡描画部は、前記選択部によって選択された軌跡の線の種別に基づいて、前記軌跡を描画する。   Furthermore, the drawing apparatus includes a selection unit that can select at least one of the thickness, type, color, and texture of the line of the locus in the drawn virtual space data before drawing, and the locus drawing unit Draws the trajectory based on the type of trajectory line selected by the selection unit.

更には、前記描画装置は、描画を行う際に操作する描画スイッチを、ハードウェア、若しくはソフトウェアとして備えており、前記軌跡描画部は、前記描画スイッチが押されている際の、前記描画装置の軌跡を描画し、前記描画スイッチが押されていない場合の、前記描画装置の軌跡は描画しない。   Furthermore, the drawing apparatus includes a drawing switch that is operated when drawing is performed as hardware or software, and the trajectory drawing unit includes the drawing switch when the drawing switch is pressed. The locus is drawn, and the locus of the drawing device is not drawn when the drawing switch is not pressed.

更には、前記描画装置、又は前記閲覧装置は、前記仮想空間データ内に描画された軌跡を消去する消去部を備えており、前記消去部は、消去の操作が利用者によってされた場合に、前記描画スイッチが前回押された以降に描画された軌跡を消去する。   Further, the drawing device or the browsing device includes an erasing unit for erasing a locus drawn in the virtual space data, and the erasing unit is configured so that when an erasing operation is performed by a user, The locus drawn after the drawing switch was pressed last time is deleted.

更には、前記描画装置、及び前記閲覧装置は、一つのハードウェアによって実現されており、前記空間生成部は、前記仮想空間データを利用者モデルとして予め設定した身長からの視点で変換を行い、前記閲覧装置の画面に映し出された前記仮想空間データを見ながら、前記描画装置を動かすと、見ている前記画面内に前記描画装置に動きの軌跡が描画される。   Furthermore, the drawing device and the browsing device are realized by a single piece of hardware, and the space generation unit converts the virtual space data from a viewpoint from a preset height as a user model, When the drawing device is moved while viewing the virtual space data projected on the screen of the browsing device, a locus of movement is drawn on the drawing device in the screen being viewed.

更には、前記描画装置は、前記閲覧装置の前記画面がタッチパネル式のディスプレイによって構成されており、前記画面上において描画を行うと、前記画面上に表示されている前記仮想空間データ内において描画した位置に対応する空間の絶対位置において前記描画装置を動かした場合と同様の動きの軌跡が描画される。   Further, in the drawing device, the screen of the browsing device is configured by a touch panel display, and when drawing is performed on the screen, the drawing is performed in the virtual space data displayed on the screen. A locus of movement similar to that when the drawing apparatus is moved at the absolute position of the space corresponding to the position is drawn.

更には、前記閲覧装置は、利用者が頭部に装着可能な構成であり、前記描画装置は、利用者が手に持って使用するペン型の装置である。   Furthermore, the browsing device is configured so that a user can wear it on his / her head, and the drawing device is a pen-type device that the user uses in his / her hand.

また、本実施形態のプログラムは、コンピューターを、対象とする空間、及び空間内に位置する対象物を撮影する複数の撮影部によって撮影されることによって、取得された第1マーカーが取り付けられた描画装置の軌跡の位置情報、及び第2マーカーが取り付けられて利用者が閲覧可能な画面を備える閲覧装置の位置情報をリアルタイムに受信する受信部と、前記撮影部によって撮影された画像から、対象とする空間の実際の大きさと同様の仮想空間データを生成する空間生成部と、受信した前記描画装置の軌跡の位置情報に基づいて前記描画装置の軌跡画像を前記仮想空間データ内において描画する軌跡描画部と、受信した前記閲覧装置の位置情報から、前記閲覧装置からの視点で閲覧が可能なように前記対象とする空間の前記仮想空間データを変換する空間変換部と、前記軌跡画像と、前記空間変換部によって変換された前記仮想空間データと合成し、前記画面に表示させる表示制御部と、して実行させるものである。   In addition, the program according to the present embodiment is a drawing in which a computer is captured by a plurality of photographing units that photograph a target space and an object located in the space, and the acquired first marker is attached. From the position information of the trajectory of the apparatus and the position information of the browsing apparatus provided with a second marker attached and a screen that can be browsed by the user in real time, and from the image photographed by the photographing section, the target A space generation unit for generating virtual space data similar to the actual size of the space to be drawn, and a locus drawing for drawing a locus image of the drawing device in the virtual space data based on the received position information of the locus of the drawing device And the virtual space of the target space so that browsing is possible from the viewpoint from the browsing device from the received position information of the browsing device A spatial transform unit for converting the over data, wherein the locus image, synthesizes the transformed the virtual space data by the spatial transform unit, a display control unit for displaying on the screen, to those to be executed.

図1は、第1の実施形態における3次元描画システムの構成を示す概要図。FIG. 1 is a schematic diagram illustrating a configuration of a three-dimensional drawing system according to the first embodiment. 図2は、第1の実施形態における3次元描画システムの処理の概要を示すブロック図。FIG. 2 is a block diagram showing an outline of processing of the three-dimensional drawing system in the first embodiment. 図3は、第1の実施形態における3次元描画システムのハードウェアのイメージ図。FIG. 3 is an image diagram of hardware of the three-dimensional drawing system according to the first embodiment. 図4は、別の実施形態における3次元描画システムのハードウェアのイメージ図。FIG. 4 is an image diagram of hardware of a three-dimensional drawing system according to another embodiment. 図5は、別の実施形態における3次元描画システムのハードウェアのイメージ図。FIG. 5 is an image diagram of hardware of a three-dimensional drawing system according to another embodiment. 図6は、第1の実施形態における3次元描画システムの機能構成を示すブロック図。FIG. 6 is a block diagram illustrating a functional configuration of the three-dimensional drawing system according to the first embodiment. 図7は、第1の実施形態における3次元描画システムの仮想空間データの初期設定に係る処理の概要を示すフロー図。FIG. 7 is a flowchart showing an outline of processing related to initial setting of virtual space data of the three-dimensional drawing system in the first embodiment. 図8は、第1の実施形態における3次元描画システムの描画の軌跡の計測、お及び軌跡イメージの生成に係る処理の概要を示すフロー図。FIG. 8 is a flowchart showing an outline of processing related to measurement of a drawing trajectory and generation of a trajectory image of the three-dimensional drawing system in the first embodiment. 図9は、第1の実施形態における3次元描画システムの仮想空間データの変換に係る処理の概要を示すフロー図。FIG. 9 is a flowchart showing an outline of processing related to virtual space data conversion of the three-dimensional drawing system in the first embodiment. 図10は、第1の実施形態における3次元描画システムによって空間内に描画されたイメージの概要を示す図。FIG. 10 is a diagram illustrating an outline of an image drawn in space by the three-dimensional drawing system according to the first embodiment.

本発明を具体化した第1の実施形態について図面を参照して説明する。図1は、第1の実施形態の3次元描画システムを具体化したシステム構成を示す概念図である。本実施形態の3次元描画システムは、ユーザーがタブレット端末10を操作することによって空間内にイメージを描画したり、対象とする空間内において描画されたイメージをタブレット端末10の画面に表示したりといったことを可能とするものである。すなわち、本システムを利用することで、実際の空間をベースに生成された仮想空間データ上に、仮想現実的に描画されたイメージや文字などをリアルタイムで表示し、3次元の空間上に描画を行っているような体験を得ることができる。 A first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a conceptual diagram showing a system configuration that embodies the three-dimensional drawing system of the first embodiment. The three-dimensional drawing system according to the present embodiment draws an image in the space by the user operating the tablet terminal 10 or displays an image drawn in the target space on the screen of the tablet terminal 10. It is possible to do that. In other words, by using this system, images and characters drawn in virtual reality are displayed in real time on virtual space data generated based on the actual space, and drawn in a three-dimensional space. You can get the experience you are doing.

図1に示されるように、3次元描画システム1は、タブレット端末10、モーションキャプチャ装置20、及び情報処理装置30がネットワーク回線40を介して接続されている。なお、ネットワーク回線40は、有線、及び無線を問わないが、リアルタイムで情報を送受信可能なように十分な回線速度が満たされることが望まれる。 As shown in FIG. 1, in the three-dimensional drawing system 1, a tablet terminal 10, a motion capture device 20, and an information processing device 30 are connected via a network line 40. The network line 40 may be wired or wireless, but it is desirable that the network line 40 has a sufficient line speed so that information can be transmitted and received in real time.

タブレット端末10は、ディスプレイ画面を有し、備え付けられた撮影部13aによって写真や映像の撮影が可能な携帯用端末である。本実施形態では、図3に示されるように、タブレット端末10が、空間内におけるイメージの描画と、描画されたイメージの閲覧の両方の操作を行うためのデバイスとして機能する。ユーザーは、タブレット端末10の画面を覗きながら、タブレット端末10自体を動かしながら描画を行う使い方を想定している。 The tablet terminal 10 is a portable terminal having a display screen and capable of taking pictures and videos by the provided shooting unit 13a. In the present embodiment, as illustrated in FIG. 3, the tablet terminal 10 functions as a device for performing both operations of drawing an image in the space and viewing the drawn image. The user is assumed to use the drawing while moving the tablet terminal 10 while looking at the screen of the tablet terminal 10.

モーションキャプチャ装置20は、赤外線カメラ21を対象とする空間内に複数、本実施形態では6台設置し、赤外線カメラ21から取得される動きの取得対象のデバイスに取り付けられた再帰性反射マーカーの空間内での絶対位置を取得するものであり、光学式のモーションキャプチャシステムである。このようなモーションキャプチャ装置20の一例としては、例えばOptiTrack社提供のハードウェア、及びソフトウェアなどを用いることができる。本実施形態の6台の赤外線カメラ21の場合のキャプチャ可能範囲は6m×6m×高さ2m程度の範囲である。また、
一般的に、当該サービスが適用可能な空間の最大範囲としては、45ft×45ft程度の広さの空間であり、最低3台以上の赤外線カメラが必要となる。赤外線カメラの台数は、対象とする空間の広さに応じて適宜増加させる必要がある。
A plurality of motion capture devices 20 in the space for the infrared camera 21, six in the present embodiment, are installed, and the space for the retroreflective markers attached to the device that is the movement acquisition target acquired from the infrared camera 21. Is an optical motion capture system. As an example of such a motion capture device 20, for example, hardware and software provided by OptiTrack can be used. The captureable range in the case of the six infrared cameras 21 of the present embodiment is a range of about 6 m × 6 m × height 2 m. Also,
Generally, the maximum range of the space to which the service can be applied is a space of about 45 ft × 45 ft, and at least three infrared cameras are required. The number of infrared cameras needs to be increased as appropriate according to the size of the target space.

なお、赤外線カメラ21の角度は、カメラの視野がキャプチャ対象とする空間の中心座標において重なるように調整されることが望ましい。また、再帰性反射マーカー10aは、本実施形態においては、タブレット端末10に装着されるものであり、全方向からの反射が均等であるように、円状のものが用いられる。また、タブレット端末10には、それぞれの端末を他の端末から識別可能なように最低3個以上の再帰性反射マーカー10aが取り付けられることが望ましい。本実施形態では、再帰性反射マーカー10aは、それぞれ間隔をあけて3つ設けられている。なお、タブレット端末10への反射性マーカーの取り付け位置については、少なくとも2台以上の赤外線カメラ21から見える位置に取り付ける必要があるため、端末の裏側などのように隠れてしまう位置にはできるだけ取り付けないようにすることが望ましい。なお、本実施形態では、閲覧装置と描画装置が共通のタブレット端末10として実現されているため、第1マーカー、及び第2マーカーも共通の再帰性反射マーカー10aによって実現することができる。 The angle of the infrared camera 21 is preferably adjusted so that the field of view of the camera overlaps at the center coordinates of the space to be captured. Further, in the present embodiment, the retroreflective marker 10a is attached to the tablet terminal 10, and a circular one is used so that reflection from all directions is uniform. Further, it is desirable that at least three or more retroreflective markers 10a are attached to the tablet terminal 10 so that each terminal can be identified from other terminals. In the present embodiment, three retroreflective markers 10a are provided at intervals. In addition, about the attachment position of the reflective marker to the tablet terminal 10, since it is necessary to attach to the position which can be seen from at least 2 or more infrared cameras 21, it is not attached as much as possible to the position where it is hidden such as the back side of the terminal. It is desirable to do so. In the present embodiment, since the browsing device and the drawing device are realized as a common tablet terminal 10, the first marker and the second marker can also be realized by a common retroreflective marker 10a.

情報処理装置30は、図2に示されるように、モーションキャプチャ装置20によって取得された描画装置、及び閲覧装置であるタブレット端末10の対象空間内での位置情報、及び回転情報を各タブレット端末10へと送信する。すなわち、モーションキャプチャ装置20によって取得された各タブレット端末10の描画による軌跡に対応する位置情報は常時ストリーミングによって、タブレット端末10へと送信されている。   As shown in FIG. 2, the information processing device 30 receives the position information and the rotation information in the target space of the drawing device acquired by the motion capture device 20 and the tablet terminal 10 that is a browsing device as each tablet terminal 10. Send to. That is, the position information corresponding to the trajectory drawn by each tablet terminal 10 acquired by the motion capture device 20 is always transmitted to the tablet terminal 10 by streaming.

図6は、実施形態の3次元描画システム1の機能構成を示すブロック図である。図6に示されるように、タブレット端末10は、通信部11、描画装置12、閲覧装置13、撮影部13a、表示制御部14、軌跡描画部15、空間変換部17、消去部18を備えている。タブレット端末10は、描画装置、及び閲覧装置を兼用している。通信部11(受信部)は、WiFiや4G回線などを利用して、データを送受信するための機能である。通信部11を介して、タブレット端末10は情報処理装置30との間でデータの送受信を行う。   FIG. 6 is a block diagram illustrating a functional configuration of the three-dimensional drawing system 1 according to the embodiment. As shown in FIG. 6, the tablet terminal 10 includes a communication unit 11, a drawing device 12, a browsing device 13, a photographing unit 13 a, a display control unit 14, a locus drawing unit 15, a space conversion unit 17, and an erasing unit 18. Yes. The tablet terminal 10 also serves as a drawing device and a browsing device. The communication unit 11 (reception unit) is a function for transmitting and receiving data using a WiFi or 4G line. The tablet terminal 10 transmits / receives data to / from the information processing apparatus 30 via the communication unit 11.

描画装置12は、タブレット端末10に対して、描画を行うためのユーザーインタフェースを提供する。本実施形態では、描画装置がタブレット端末10であることから、タブレット端末10を空間内で動かすだけで描画がされてしまうと不都合である。したがって、描画の実行する描画モードへの切り替えを行うためのインタフェースが存在することが望ましく、例えば画面上に表示された「描画ボタン」や実際のハードウェアのボタンとして実現されている。なお、各ボタンの実装方法としては、ボタンを一回押すと、描画の1ストローク分、すなわち動きが開始されてから、実質的に動きが停止されるまでの動作が軌跡されるようにしても良いし、ボタンが押されている間におけるタブレット端末10の動きの軌跡が描画さるようにしてもよい。   The drawing device 12 provides the tablet terminal 10 with a user interface for drawing. In the present embodiment, since the drawing device is the tablet terminal 10, it is inconvenient if the drawing is performed only by moving the tablet terminal 10 in the space. Therefore, it is desirable that an interface for switching to a drawing mode in which drawing is performed exists, and is realized as, for example, a “draw button” displayed on the screen or an actual hardware button. As a method of mounting each button, when a button is pressed once, one stroke of drawing, that is, the movement from the start of movement until the movement is substantially stopped is traced. Alternatively, the locus of movement of the tablet terminal 10 while the button is pressed may be drawn.

また、描画装置12は、他の描画の入力の方法として、タブレット端末10の画面がタッチパネルディスプレイである場合に、この画面上で画面をなぞって描画した軌跡を閲覧装置13の軌跡描画部15へと渡すインタフェースを提供する。この描画方法の場合、タブレット端末10の空間内の絶対位置ではなく、画面上に表示されている位置に対応した描画が行われる。画面上では奥行きは表現されていないため、予め設定した位置、例えばタブレット端末10の位置から30cm奥側、などに描画が行われる。   Further, as another drawing input method, when the screen of the tablet terminal 10 is a touch panel display, the drawing device 12 traces the trace drawn on the screen to the trace drawing unit 15 of the browsing device 13. Provides an interface to pass. In the case of this drawing method, drawing corresponding to the position displayed on the screen is performed instead of the absolute position in the space of the tablet terminal 10. Since the depth is not expressed on the screen, drawing is performed at a preset position, for example, 30 cm behind from the position of the tablet terminal 10.

閲覧装置13は、ユーザーに対して仮想空間データ、及び描画された軌跡画像が合成されたデータを閲覧可能なように表示させる。   The browsing device 13 displays virtual space data and data obtained by combining the drawn trajectory image so that the user can browse.

空間生成部16は、モーションキャプチャ装置20によって撮影された画像から切り取られた画像から、対象とする空間の実際の大きさと同様の仮想空間データを生成する。この生成された仮想空間データは、タブレット端末10内の記憶領域に保存される。なお、空間生成部16による仮想空間データの生成は、当該3次元描画システムが、対象とする空間に設置された際の初期設定として、システムの最初の起動時に行われることが望ましい。したがって、空間生成部16によって生成された仮想空間データは、一度生成されると、描画の間継続して使用されるため、実際の空間に変化があり、仮想空間データを実空間の変化に対応させたい場合は、空間生成部16による仮想空間データの生成を再度おこなう必要がある。   The space generation unit 16 generates virtual space data similar to the actual size of the target space from the image cut out from the image captured by the motion capture device 20. The generated virtual space data is stored in a storage area in the tablet terminal 10. The generation of the virtual space data by the space generation unit 16 is preferably performed at the first startup of the system as an initial setting when the three-dimensional drawing system is installed in a target space. Therefore, once the virtual space data generated by the space generation unit 16 is generated, it is continuously used during drawing, so that there is a change in the actual space, and the virtual space data corresponds to a change in the real space. When it is desired to do so, it is necessary to generate virtual space data again by the space generation unit 16.

空間変換部17は、モーションキャプチャ装置20が取得した閲覧装置であるタブレット端末10の空間内における位置情報や、回転情報などの情報に基づき、タブレット端末10からの視点での閲覧が可能なように、すなわちタブレット端末10の撮影部13aを通じて見えている空間内の景色となるように仮想空間データを変換する。この詳細については、後述する。   The space conversion unit 17 can be viewed from the viewpoint from the tablet terminal 10 based on information such as position information in the space of the tablet terminal 10 that is the browsing device acquired by the motion capture device 20 and rotation information. That is, the virtual space data is converted so that the scenery in the space seen through the photographing unit 13a of the tablet terminal 10 is obtained. Details of this will be described later.

軌跡描画部15は、タブレット端末10を操作して描画された軌跡画像を生成する処理を行う。具体的には、モーションキャプチャ装置20によって取得されたタブレット端末10に取り付けられた再帰性反射マーカー10aの位置情報や回転情報に対応する位置ベクトルを算出し、位置ベクトルに基づいてタブレット端末10の軌跡を仮想空間データ内において軌跡画像の生成を行う。また、軌跡描画部15は、タブレット端末10で、ユーザーの操作によって描画を行う描画モードにおいて描画がされたか否かの判定も行う。したがって、描画モードに設定されている際の描画装置12の操作のみに、軌跡描画部15は描画を行う。   The locus drawing unit 15 performs a process of generating a locus image drawn by operating the tablet terminal 10. Specifically, a position vector corresponding to position information and rotation information of the retroreflective marker 10a attached to the tablet terminal 10 acquired by the motion capture device 20 is calculated, and the locus of the tablet terminal 10 is calculated based on the position vector. A trajectory image is generated in the virtual space data. The trajectory drawing unit 15 also determines whether or not drawing has been performed in the drawing mode in which drawing is performed by the user's operation on the tablet terminal 10. Therefore, the trajectory drawing unit 15 performs drawing only by operating the drawing device 12 when the drawing mode is set.

また、軌跡描画部15は、描画装置12に設けられた描画を行う際の軌跡画像の線の太さ、種類(実線や破線など)、色、質感などの少なくとも一つを描画前に選択可能なインタフェース(選択部)からの入力を受け付け、入力に基づく線の種別に従った軌跡画像の生成を行う。   Further, the trajectory drawing unit 15 can select at least one of the line thickness, type (solid line, broken line, etc.), color, and texture of the trajectory image when drawing provided in the drawing device 12 before drawing. An input from a simple interface (selection unit) is received, and a trajectory image is generated according to the line type based on the input.

表示制御部14は、閲覧装置13の画面における表示画像の態様を制御するものである。具体的には、空間変換部17によって常時変換されている仮想空間データと、軌跡描画部15によって生成された軌跡画像とを合成し、閲覧装置13の画面に表示させるよう制御を行う。 The display control unit 14 controls the aspect of the display image on the screen of the browsing device 13. Specifically, control is performed so that the virtual space data constantly converted by the space conversion unit 17 and the trajectory image generated by the trajectory drawing unit 15 are combined and displayed on the screen of the browsing device 13.

消去部18は、軌跡描画部15によって生成された軌跡画像を消去する処理を行い、ユーザーインタフェースとしては閲覧装置13、描画装置12のいずれに設けてあっても良い。消去の操作がされると、消去部18は、軌跡描画部15によって描画された描画画像を消去する。この際、消去される軌跡画像の単位は、1回の描画モードによって描画された1ストローク分の描画の軌跡であっても良いし、所定の時間内に描画された軌跡であっても良い。または、画面内で消去したい軌跡画像の領域を選択した後に、この領域内に存在する軌跡画像を消去するようにしてもよい。 The erasing unit 18 performs a process of erasing the trajectory image generated by the trajectory drawing unit 15 and may be provided in either the browsing device 13 or the drawing device 12 as a user interface. When the erasing operation is performed, the erasing unit 18 erases the drawn image drawn by the locus drawing unit 15. At this time, the unit of the locus image to be deleted may be a locus for drawing for one stroke drawn in one drawing mode or a locus drawn within a predetermined time. Alternatively, after selecting a region of the trajectory image to be erased on the screen, the trajectory image existing in this region may be erased.

閲覧装置13の画面は撮影部13aが画面とは反対側の面に設けられており、表示制御部14によって合成されている仮想空間データ、及び軌跡画像が、リアルタイムに画面に表示される。また、仮想空間データを表示させるのではなく、撮影部13aによって撮影された空間画像に対して描画を行い、そのデータを表示させることも可能である。 The screen of the browsing device 13 is provided with the photographing unit 13a on the surface opposite to the screen, and the virtual space data and the trajectory image synthesized by the display control unit 14 are displayed on the screen in real time. Further, instead of displaying the virtual space data, it is possible to draw the space image captured by the image capturing unit 13a and display the data.

図10は、実際に空間内に描画された軌跡画像の一例を示す図である。図10に示されるように、軌跡画像70は、対象とする空間内でタブレット端末10によって描画されている。図中に示されるように、タブレット端末10が軌跡画像70の正面側に位置する際には、タブレット端末10の画面には、軌跡画像70を正面から見た状態が表示され、側面側に位置する際には、軌跡画像70を側方から見た状態が表示される。このようなタブレット端末10の位置に応じた軌跡画像の表示態様の変換は、空間変換部17によって処理される。 FIG. 10 is a diagram illustrating an example of a trajectory image actually drawn in the space. As shown in FIG. 10, the trajectory image 70 is drawn by the tablet terminal 10 in the target space. As shown in the figure, when the tablet terminal 10 is positioned on the front side of the trajectory image 70, the state of the trajectory image 70 viewed from the front is displayed on the screen of the tablet terminal 10 and is positioned on the side surface side. In doing so, the state of the trajectory image 70 viewed from the side is displayed. The conversion of the display mode of the trajectory image according to the position of the tablet terminal 10 is processed by the space conversion unit 17.

モーションキャプチャ装置20は、赤外線カメラ21、プロセッサ22、記憶部23、通信部24を備える。赤外線カメラ21によって取得したタブレット端末10の位置情報は、プロセッサ22によって空間内での位置情報に変換され、通信部24を通じて情報処理装置30へと送信される。   The motion capture device 20 includes an infrared camera 21, a processor 22, a storage unit 23, and a communication unit 24. The position information of the tablet terminal 10 acquired by the infrared camera 21 is converted into position information in the space by the processor 22 and transmitted to the information processing apparatus 30 through the communication unit 24.

情報処理装置30は、通信部31(送信部)、入力部32、記憶部33を備える。通信部31は、ネットワーク回線を通じてモーションキャプチャ装置20やタブレット端末10との間でデータの送受信を行う。入力部32は、受信した各データを各部に対してインプットを行う。記憶部33は、受信したデータや、受信したデータに対して各部において処理を行ったデータを記憶する。   The information processing apparatus 30 includes a communication unit 31 (transmission unit), an input unit 32, and a storage unit 33. The communication unit 31 transmits and receives data to and from the motion capture device 20 and the tablet terminal 10 through a network line. The input unit 32 inputs each received data to each unit. The storage unit 33 stores received data and data obtained by processing each unit with respect to the received data.

図7は、仮想空間データを生成する処理の流れを示すフロー図である。図7の処理はモーションキャプチャ装置20を設置し、初期の描画を行う空間を設定する際に行われるものである。図7に示されるように、まずモーションキャプチャ装置20は、赤外線カメラ21によって取得されたキャプチャ対象の範囲の大きさを情報処理装置30へと入力する(ステップS101)。この対象とする空間の設定の方法としては、決めた撮影範囲を囲むように、キャリブレーションポールを垂直に設置し、2台以上の赤外線カメラ21からこのキャリブレーションポールが見えるようにカメラの設定位置を調整することによって設定する。   FIG. 7 is a flowchart showing a flow of processing for generating virtual space data. The processing in FIG. 7 is performed when the motion capture device 20 is installed and a space for initial drawing is set. As shown in FIG. 7, first, the motion capture device 20 inputs the size of the capture target range acquired by the infrared camera 21 to the information processing device 30 (step S <b> 101). As a method for setting the target space, a calibration pole is installed vertically so as to surround a predetermined photographing range, and the camera setting position is set so that the calibration pole can be seen from two or more infrared cameras 21. Set by adjusting.

そして、この設置されたキャリブレーションポールを赤外線カメラ21によって撮影することで、撮影範囲の空間の大きさを示す距離や空間そのものの画像が取得され、情報処理装置30へと入力される。空間生成部16は、入力された撮影対象の空間の寸法に基づき、ヴァーチャル環境である仮想空間データを生成する(ステップS102)。空間生成部16は、更にこの生成された仮想空間データをどの位置からの視点でみたイメージとするかを設定するために、仮想空間データを基礎となる視点を設定する(ステップS103)。   The installed calibration pole is photographed by the infrared camera 21, and a distance indicating the size of the space in the photographing range and an image of the space itself are acquired and input to the information processing apparatus 30. The space generation unit 16 generates virtual space data that is a virtual environment based on the input dimensions of the space to be imaged (step S102). The space generation unit 16 further sets a viewpoint based on the virtual space data in order to set the position from which the generated virtual space data is viewed as a viewpoint (step S103).

そして、最後に空間生成部16は、この基礎となったユーザーの正面側における一人称視点での仮想空間データに変換する(ステップS104)。   Finally, the space generation unit 16 converts the virtual space data into the first-person viewpoint on the front side of the user that is the basis (step S104).

続いて、描画装置であるタブレット端末10による描画された軌跡のイメージ処理についての流れを図8を用いて説明する。本処理は、本実施形態では描画装置であるタブレット端末10で、描画モードが設定されてから終了するまでの処理の流れである。まず軌跡描画部36は、モーションキャプチャ装置20により取得された描画装置であるタブレット端末10に取り付けられた再帰性反射マーカーの現在の位置情報、及び回転情報(4×4行列)を情報処理装置30から受信する(ステップS201)。   Next, a flow of image processing of a drawn locus by the tablet terminal 10 that is a drawing apparatus will be described with reference to FIG. This process is a process flow from the setting of the drawing mode to the end of the tablet terminal 10 which is a drawing apparatus in the present embodiment. First, the trajectory drawing unit 36 obtains the current position information and rotation information (4 × 4 matrix) of the retroreflective marker attached to the tablet terminal 10 that is the drawing device acquired by the motion capture device 20 as the information processing device 30. (Step S201).

次いで、軌跡描画部36は、読み込んだ現在の情報、及び回転情報に基づき、3次元位置ベクトル、及び4元数回転ベクトルを計算する(ステップS202)。そして、軌跡描画部36は、3次元位置ベクトルを新しい頂点法線ベクトルとして用いて、軌跡に沿ったポリゴンを形成し、ポリゴンによる軌跡画像の描画を行う(ステップS203)。なお、本実施形態では、軌跡の描画に用いられるポリゴンは、予め設定された色、太さ、線種として設定されているが、これは描画装置側に設けたユーザーインタフェースによって変更選択されたポリゴンの描画情報を参照して、描画画像の線の種別を適宜変更する。   Next, the locus drawing unit 36 calculates a three-dimensional position vector and a quaternion rotation vector based on the read current information and rotation information (step S202). Then, the trajectory drawing unit 36 forms a polygon along the trajectory using the three-dimensional position vector as a new vertex normal vector, and draws a trajectory image using the polygon (step S203). In this embodiment, the polygon used for drawing the trajectory is set as a preset color, thickness, and line type. This is a polygon that is changed and selected by the user interface provided on the drawing apparatus side. The line type of the drawn image is appropriately changed with reference to the drawing information.

そして、軌跡描画部36は、新たに生成したポリゴンと、過去のポリゴンとを繋げてメッシュを形成する(ステップS204)。この際の過去のポリゴンは記憶されている以前の描画によって生成されたポリゴンである。そして、軌跡描画部36は、描画が完了したか否かの判定を行う(ステップS205)。描画の完了は、前述した描画モードの完了の操作によって判定しても良いし、一定時間経過後に自動的に描画を完了しても良いし、所定のストロークを完了した場合に描画を完了するようにしてもよい。   Then, the locus drawing unit 36 connects the newly generated polygon and the past polygon to form a mesh (step S204). The past polygon at this time is a polygon generated by the previous drawing stored. Then, the trajectory drawing unit 36 determines whether or not drawing has been completed (step S205). Completion of drawing may be determined by the completion operation of the drawing mode described above, or drawing may be automatically completed after a predetermined time has elapsed, or drawing may be completed when a predetermined stroke is completed. It may be.

描画が完了したと判定されると(ステップS205:Yes)、軌跡描画部36は、オブジェクトファイルを出力し、処理を完了する(ステップS206)。一方、描画が完了されないと判定された場合(ステップS206)、ステップS201からの描画処理を再度繰り返す。   If it is determined that the drawing has been completed (step S205: Yes), the trajectory drawing unit 36 outputs the object file and completes the process (step S206). On the other hand, when it is determined that the drawing is not completed (step S206), the drawing process from step S201 is repeated again.

続いて、空間変換部17、及び表示制御部14による、閲覧装置における仮想空間データの変換の処理について図9を参照して説明する。図7においては、初期設定の仮想空間データの生成に係る処理を示したが、本処理は閲覧装置が空間内での位置や回転情報が変化することから、リアルタイムで行われる処理である。   Next, the virtual space data conversion process in the browsing device by the space conversion unit 17 and the display control unit 14 will be described with reference to FIG. Although FIG. 7 shows a process related to the generation of the initial virtual space data, this process is a process performed in real time because the browsing apparatus changes its position and rotation information in the space.

まず、モーションキャプチャ装置20は、閲覧装置13であるタブレット端末10に取り付けられた再帰性反射マーカー10aから現在の位置情報、及び回転情報を取得する(ステップS301)。次いで、空間変換部17は、仮想空間データと、軌跡情報であるオブジェクトファイルを取得する(ステップS302)。そして、空間変換部17、及び表示制御部14は、仮想空間データと軌跡画像のオブジェクトファイルとを合成し、取得した閲覧装置の位置情報、及び回転情報に基づいて、仮想空間データを変換する(ステップS303)。そして、最後の表示制御部14は、変換後の仮想空間データをタブレット端末10の画面に表示させる。   First, the motion capture device 20 acquires current position information and rotation information from the retroreflective marker 10a attached to the tablet terminal 10 that is the browsing device 13 (step S301). Next, the space conversion unit 17 acquires virtual space data and an object file that is trajectory information (step S302). Then, the space conversion unit 17 and the display control unit 14 combine the virtual space data and the object file of the trajectory image, and convert the virtual space data based on the acquired position information and rotation information of the browsing device ( Step S303). Then, the last display control unit 14 displays the converted virtual space data on the screen of the tablet terminal 10.

以上に示した本実施形態の3次元描画システムにおいては、ユーザーは、描画装置12を操作することによって、3次元の空間上に描画をすることができ、閲覧装置13を通じて、描画された軌跡画像を仮想空間データ内で閲覧することができる。従来の3次元グラフィックは、コンピューターの画面上での描画、閲覧が可能なのみであったが、本システムでは、実際の空間内に描画装置12を動かすことによって、実際の空間内に奥行きのある軌跡画像を描画することができ、自由度の高い表現が可能となる。例えば、本システムによって描画された軌跡画像は、ユーザーが空間内で移動すれば、その位置からみた画像へと変換されるため、例えば遊園地等でのアトラクションや、仮想現実を使用したゲームなど様々な用途に活用することができる。   In the three-dimensional drawing system of the present embodiment described above, the user can draw on a three-dimensional space by operating the drawing device 12, and the trajectory image drawn through the browsing device 13. Can be viewed in the virtual space data. Conventional three-dimensional graphics can only be drawn and viewed on a computer screen, but in this system, there is a depth in the actual space by moving the drawing device 12 in the actual space. A trajectory image can be drawn, and an expression with a high degree of freedom is possible. For example, since the trajectory image drawn by this system is converted into an image viewed from the position when the user moves in the space, for example, there are various attractions such as attractions at amusement parks, games using virtual reality, etc. It can be used for various purposes.

例えば、空間内に立体的な彫刻を描画すれば、閲覧装置13を装着しているユーザーかはら、その彫刻があたかも実際の空間内に存在するかのような視覚的効果を得ることができる。また、描画の先に、軌跡画像を生成するための線の種別を選択することができるようにすることで、更に表現の幅を広げることができるようになる。また、フリーハンドによる描画だけではなく、例えば図形やスタンプ、文字など予め定まった形象の軌跡を動かしながら空間内に配置するような表現も可能となる。   For example, if a three-dimensional sculpture is drawn in the space, a visual effect as if the sculpture exists in the actual space can be obtained as well as the user wearing the browsing device 13. In addition, by making it possible to select the type of line for generating a trajectory image before drawing, the range of expression can be further expanded. In addition to freehand drawing, it is also possible to perform an expression such as, for example, arranging in a space while moving a locus of a predetermined figure such as a figure, a stamp, or a character.

また、描画した軌跡画像の消去の操作を行うことができるようにした。この際、3次元の実際の空間内にされた描画を指定して消去を行うことは困難であることから、一つ前の動作によって描画された軌跡画像の部分を、消去対象として予め設定しておくことで、消去に係る処理を簡単に行うことができるようになる。   In addition, the drawn locus image can be erased. At this time, it is difficult to designate and erase a drawing drawn in a three-dimensional actual space. Therefore, a portion of a trajectory image drawn by the previous operation is set in advance as an erasure target. By doing so, it becomes possible to easily perform the process related to erasure.

また、描画装置であるタブレット端末10自体を動かして描画するだけでなく、閲覧装置であるタブレット端末10の画面を触って描画を行うことができるようにしたため、例えば細かい作業などによる描画を行う際には、画面にペンタブレット等を用いて描画をすることで、表現の自由度を高めることが可能となる。なお、描画の際には、軌跡描画が生成される位置は、予めタブレット端末10から奥行き30cmの位置などのように設定するようにしたが、これは例えば、ペンタブレットなどで画面内の軌跡画像を選択すると、自動的にその選択された軌跡画像の奥行きの位置に調整して軌跡描画の生成が行われるといったようにすることも可能である。   In addition to drawing by moving the tablet terminal 10 itself, which is a drawing device, it is possible to draw by touching the screen of the tablet terminal 10 being a browsing device. It is possible to increase the degree of freedom of expression by drawing using a pen tablet or the like on the screen. At the time of drawing, the position where the locus drawing is generated is set in advance such as a position 30 cm in depth from the tablet terminal 10, but this is, for example, a locus image on the screen with a pen tablet or the like. When is selected, it is possible to automatically adjust the depth position of the selected trajectory image to generate a trajectory drawing.

なお、第1の実施形態では、描画装置と閲覧装置が同一のタブレット端末10として実現されている例を示したが、これは例えば図4のように、閲覧装置であるタブレット端末10と、描画装置50とに分けた構成であってもよい。この場合、描画装置50は、スマートフォンや小型のタブレット、ペンタブレット型の端末などのより、携帯しやすい大きさの端末であり、描画を片手でも行いやすくなる。この場合、描画装置50に選択部や消去部が設けられるため、描画装置50とタブレット端末10間で、これらの操作の信号の送受信が行われるようにする必要がある。   In the first embodiment, an example in which the drawing device and the browsing device are realized as the same tablet terminal 10 has been described. However, for example, as illustrated in FIG. The configuration may be divided into the device 50. In this case, the drawing device 50 is a terminal that is easier to carry than a smartphone, a small tablet, a pen tablet-type terminal, or the like, and can easily perform drawing with one hand. In this case, since the selecting unit and the erasing unit are provided in the drawing device 50, it is necessary to transmit and receive signals for these operations between the drawing device 50 and the tablet terminal 10.

また、図5のようにヘッドマウントディスプレイ型の閲覧装置60を頭部に装着するような使用方法であっても良いこの場合、閲覧装置60を手で携帯する必要がなくなるため、より自然な描画を行う体験を得ることができるようになる。また、以上の実施形態のように、描画を行うものと閲覧を行うものが必ずしも同一である必要がなく、複数人が端末をそれぞれ所持し、それぞれが同一の空間内で描画・閲覧を行うような使用態様であってもよい。   Further, as shown in FIG. 5, the usage method may be such that the head-mounted display type browsing device 60 is worn on the head. In this case, it is not necessary to carry the browsing device 60 by hand. You will be able to get an experience of doing. In addition, as in the above embodiment, it is not necessary that the drawing and browsing are necessarily the same, and a plurality of people each have a terminal, and each draws and browses in the same space. Various usage modes may be used.

また、タブレット端末10は、各種プログラムが記憶された記憶領域であるハードディスクと、プログラムが実行させるRAMなどの記憶領域を備えたものであり、上記実施形態で示した各部は、プログラムとして各部において機能するものである。   The tablet terminal 10 includes a hard disk, which is a storage area in which various programs are stored, and a storage area such as a RAM that is executed by the program. Each unit described in the above embodiment functions as a program in each unit. To do.

1…3次元描画システム、10…タブレット端末、12…描画装置12…閲覧装置、14…表示制御部、15…軌跡生成部、16…空間生成部、17…空間変換部、18…消去部、20…モーションキャプチャ装置、30…情報処理装置 DESCRIPTION OF SYMBOLS 1 ... Three-dimensional drawing system, 10 ... Tablet terminal, 12 ... Drawing apparatus 12 ... Browsing device, 14 ... Display control part, 15 ... Trajectory generation part, 16 ... Space generation part, 17 ... Space conversion part, 18 ... Erase part, 20 ... motion capture device, 30 ... information processing device

Claims (8)

対象とする空間、及び空間内に位置する対象物を撮影する複数の撮影部と、
前記撮影部によって前記対象とする空間内での位置が把握可能な第1マーカーを取り付けられた描画装置と、
利用者が携帯可能であって、第2マーカーが付与されて前記対象とする空間内での絶対位置を算出可能であって、利用者が閲覧可能な画面を備える閲覧装置と、
前記撮影部によって撮影されることによって、取得された前記描画装置の軌跡の位置情報、及び前記閲覧装置の位置情報をリアルタイムに前記閲覧装置へと送信する送信部と、
前記撮影部によって撮影された画像から、対象とする空間の実際の大きさと同様の仮想空間データを生成する空間生成部と、
受信した前記描画装置の軌跡の位置情報に基づいて前記描画装置の軌跡画像を前記仮想空間データ内において描画する軌跡描画部と、
受信した前記閲覧装置の位置情報から、前記閲覧装置からの視点で閲覧が可能なように前記対象とする空間の前記仮想空間データを変換する空間変換部と、
前記軌跡画像と、前記空間変換部によって変換された前記仮想空間データと合成し、前記画面に表示させる表示制御部と、
を備えることを特徴とする3次元描画システム。
A plurality of photographing units for photographing a target space and a target object located in the space;
A drawing device to which a first marker capable of grasping a position in the target space is attached by the photographing unit;
A browsing device provided with a screen that can be carried by the user, is capable of calculating an absolute position in the space to which the second marker is attached, and is viewable by the user;
A transmission unit that transmits the position information of the trajectory of the drawing device acquired by being photographed by the photographing unit and the position information of the browsing device to the browsing device in real time;
A space generation unit that generates virtual space data similar to the actual size of the target space from the image captured by the imaging unit;
A locus drawing unit for drawing a locus image of the drawing device in the virtual space data based on the received position information of the locus of the drawing device;
From the received positional information of the browsing device, a space conversion unit that converts the virtual space data of the target space so that browsing is possible from the viewpoint from the browsing device;
A display control unit configured to synthesize the trajectory image with the virtual space data converted by the space conversion unit and display the combined image on the screen;
A three-dimensional drawing system comprising:
前記描画装置は、描画された前記仮想空間データ内における軌跡の線の太さ、種類、色、及び質感の少なくとも1つを描画前に選択可能な選択部を備え、
前記軌跡描画部は、前記選択部によって選択された軌跡の線の種別に基づいて、前記軌跡を描画する
ことを特徴とする請求項1に記載の3次元描画システム。
The drawing apparatus includes a selection unit that can select at least one of the thickness, type, color, and texture of a trace line in the drawn virtual space data before drawing,
The three-dimensional drawing system according to claim 1, wherein the trajectory drawing unit draws the trajectory based on a type of trajectory line selected by the selection unit.
前記描画装置は、描画を行う際に操作する描画スイッチを、ハードウェア、若しくはソフトウェアとして備えており、
前記軌跡描画部は、前記描画スイッチが押されている際の、前記描画装置の軌跡を描画し、前記描画スイッチが押されていない場合の、前記描画装置の軌跡は描画しない
ことを特徴とする請求項1又は2に記載の3次元描画システム。
The drawing apparatus includes a drawing switch that is operated when drawing, as hardware or software,
The locus drawing unit draws a locus of the drawing device when the drawing switch is pressed, and does not draw a locus of the drawing device when the drawing switch is not pressed. The three-dimensional drawing system according to claim 1 or 2.
前記描画装置、又は前記閲覧装置は、前記仮想空間データ内に描画された軌跡を消去する消去部を備えており、
前記消去部は、消去の操作が利用者によってされた場合に、前記描画スイッチが前回押された以降に描画された軌跡を消去する
ことを特徴とする請求項3に記載の3次元描画システム。
The drawing device or the browsing device includes an erasing unit for erasing a locus drawn in the virtual space data,
The three-dimensional drawing system according to claim 3, wherein the erasing unit erases a locus drawn after the drawing switch was pressed last time when an erasing operation is performed by a user.
前記描画装置、及び前記閲覧装置は、一つのハードウェアによって実現されており、
前記空間生成部は、前記仮想空間データを利用者モデルとして予め設定した身長からの視点で変換を行い、
前記閲覧装置の画面に映し出された前記仮想空間データを見ながら、前記描画装置を動かすと、見ている前記画面内に前記描画装置に動きの軌跡が描画される
ことを特徴とする請求項1〜4のいずれか一項に記載の3次元描画システム。
The drawing device and the browsing device are realized by one piece of hardware,
The space generation unit performs the conversion from a viewpoint from a preset height as the virtual space data as a user model,
The movement trajectory is drawn on the drawing device in the screen when the drawing device is moved while viewing the virtual space data displayed on the screen of the browsing device. The three-dimensional drawing system as described in any one of -4.
前記描画装置は、前記閲覧装置の前記画面がタッチパネル式のディスプレイによって構成されており、前記画面上において描画を行うと、前記画面上に表示されている前記仮想空間データ内において描画した位置に対応する空間の絶対位置において前記描画装置を動かした場合と同様の動きの軌跡が描画される
ことを特徴とする請求項5に記載の3次元描画システム。
In the drawing device, the screen of the browsing device is configured by a touch panel display, and when drawing is performed on the screen, the drawing device corresponds to the position drawn in the virtual space data displayed on the screen. The three-dimensional drawing system according to claim 5, wherein a movement locus similar to that when the drawing apparatus is moved is drawn at an absolute position of a space to be drawn.
前記閲覧装置は、利用者が頭部に装着可能な構成であり、
前記描画装置は、利用者が手に持って使用するペン型の装置である
戸を特徴とする請求項1〜4の何れか一項に記載の3次元描画システム。
The browsing device is a configuration that a user can wear on the head,
The three-dimensional drawing system according to any one of claims 1 to 4, wherein the drawing device is a pen-type device that a user uses in his / her hand.
コンピューターを、
対象とする空間、及び空間内に位置する対象物を撮影する複数の撮影部によって撮影されることによって、取得された第1マーカーが取り付けられた描画装置の軌跡の位置情報、及び第2マーカーが取り付けられて利用者が閲覧可能な画面を備える閲覧装置の位置情報をリアルタイムに受信する受信部と、
前記撮影部によって撮影された画像から、対象とする空間の実際の大きさと同様の仮想空間データを生成する空間生成部と、
受信した前記描画装置の軌跡の位置情報に基づいて前記描画装置の軌跡画像を前記仮想空間データ内において描画する軌跡描画部と、
受信した前記閲覧装置の位置情報から、前記閲覧装置からの視点で閲覧が可能なように前記対象とする空間の前記仮想空間データを変換する空間変換部と、
前記軌跡画像と、前記空間変換部によって変換された前記仮想空間データと合成し、前記画面に表示させる表示制御部と、
して実行させるための3次元描画プログラム。
Computer
The position information of the trajectory of the drawing apparatus to which the acquired first marker is attached and the second marker are captured by a plurality of imaging units that capture the target space and the object located in the space. A receiving unit for receiving in real time the position information of the browsing device provided with a screen that is attached and can be viewed by the user;
A space generation unit that generates virtual space data similar to the actual size of the target space from the image captured by the imaging unit;
A locus drawing unit for drawing a locus image of the drawing device in the virtual space data based on the received position information of the locus of the drawing device;
From the received positional information of the browsing device, a space conversion unit that converts the virtual space data of the target space so that browsing is possible from the viewpoint from the browsing device;
A display control unit configured to synthesize the trajectory image with the virtual space data converted by the space conversion unit and display the combined image on the screen;
3D drawing program to be executed.
JP2015152731A 2015-07-31 2015-07-31 Three-dimensional drawing system and three-dimensional drawing program Pending JP2017033294A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015152731A JP2017033294A (en) 2015-07-31 2015-07-31 Three-dimensional drawing system and three-dimensional drawing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015152731A JP2017033294A (en) 2015-07-31 2015-07-31 Three-dimensional drawing system and three-dimensional drawing program

Publications (1)

Publication Number Publication Date
JP2017033294A true JP2017033294A (en) 2017-02-09

Family

ID=57986248

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015152731A Pending JP2017033294A (en) 2015-07-31 2015-07-31 Three-dimensional drawing system and three-dimensional drawing program

Country Status (1)

Country Link
JP (1) JP2017033294A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107390978A (en) * 2017-07-27 2017-11-24 广州视源电子科技股份有限公司 Display methods, device, terminal and the computer-readable recording medium of formula
CN108961414A (en) * 2017-05-19 2018-12-07 中兴通讯股份有限公司 A kind of display control method and device
CN111176427A (en) * 2018-11-12 2020-05-19 舜宇光学(浙江)研究院有限公司 Three-dimensional space drawing method based on handheld intelligent equipment and handheld intelligent equipment
CN112639682A (en) * 2018-08-24 2021-04-09 脸谱公司 Multi-device mapping and collaboration in augmented reality environments
CN113747138A (en) * 2021-07-30 2021-12-03 杭州群核信息技术有限公司 Video generation method and device for virtual scene, storage medium and electronic equipment

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961414A (en) * 2017-05-19 2018-12-07 中兴通讯股份有限公司 A kind of display control method and device
CN107390978A (en) * 2017-07-27 2017-11-24 广州视源电子科技股份有限公司 Display methods, device, terminal and the computer-readable recording medium of formula
CN107390978B (en) * 2017-07-27 2020-11-03 广州视源电子科技股份有限公司 Formula display method and device, terminal and computer readable storage medium
CN112639682A (en) * 2018-08-24 2021-04-09 脸谱公司 Multi-device mapping and collaboration in augmented reality environments
CN111176427A (en) * 2018-11-12 2020-05-19 舜宇光学(浙江)研究院有限公司 Three-dimensional space drawing method based on handheld intelligent equipment and handheld intelligent equipment
CN113747138A (en) * 2021-07-30 2021-12-03 杭州群核信息技术有限公司 Video generation method and device for virtual scene, storage medium and electronic equipment

Similar Documents

Publication Publication Date Title
JP7095602B2 (en) Information processing equipment, information processing method and recording medium
KR102497683B1 (en) Method, device, device and storage medium for controlling multiple virtual characters
JP5966510B2 (en) Information processing system
KR101171660B1 (en) Pointing device of augmented reality
JP6288084B2 (en) Display control device, display control method, and recording medium
JP2017033294A (en) Three-dimensional drawing system and three-dimensional drawing program
CN104915979A (en) System capable of realizing immersive virtual reality across mobile platforms
JP6348741B2 (en) Information processing system, information processing apparatus, information processing program, and information processing method
CN104035760A (en) System capable of realizing immersive virtual reality over mobile platforms
JPWO2014188798A1 (en) Display control device, display control method, and recording medium
JP7372061B2 (en) Remote work support system
JP5568610B2 (en) Augmented reality system, video composition device, video composition method, and program
KR20180059765A (en) Information processing apparatus, information processing method, and program
JP6559870B1 (en) Movie synthesis apparatus, movie synthesis method, and movie synthesis program
KR20150040580A (en) virtual multi-touch interaction apparatus and method
KR101539087B1 (en) Augmented reality device using mobile device and method of implementing augmented reality
WO2017061890A1 (en) Wireless full body motion control sensor
CN111161396A (en) Virtual content control method and device, terminal equipment and storage medium
CN113498531A (en) Head-mounted information processing device and head-mounted display system
JP6726016B2 (en) Information processing device and information processing method
JPWO2018193509A1 (en) REMOTE WORK SUPPORT SYSTEM, REMOTE WORK SUPPORT METHOD, AND PROGRAM
JP2020087429A (en) Video synthesizer, method for synthesizing video, and video synthesizing program
JP2023065528A (en) Head-mounted information processing apparatus and head-mounted display system
EP3702008A1 (en) Displaying a viewport of a virtual space
WO2022176450A1 (en) Information processing device, information processing method, and program