JP2020173510A - Display system, sales system, and data generation accept system - Google Patents

Display system, sales system, and data generation accept system Download PDF

Info

Publication number
JP2020173510A
JP2020173510A JP2019073672A JP2019073672A JP2020173510A JP 2020173510 A JP2020173510 A JP 2020173510A JP 2019073672 A JP2019073672 A JP 2019073672A JP 2019073672 A JP2019073672 A JP 2019073672A JP 2020173510 A JP2020173510 A JP 2020173510A
Authority
JP
Japan
Prior art keywords
data
article
unit
display
display system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019073672A
Other languages
Japanese (ja)
Other versions
JP7385180B2 (en
Inventor
義高 長谷川
Yoshitaka Hasegawa
義高 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hasegawa Kogyo Co Ltd
Original Assignee
Hasegawa Kogyo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hasegawa Kogyo Co Ltd filed Critical Hasegawa Kogyo Co Ltd
Priority to JP2019073672A priority Critical patent/JP7385180B2/en
Publication of JP2020173510A publication Critical patent/JP2020173510A/en
Application granted granted Critical
Publication of JP7385180B2 publication Critical patent/JP7385180B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide a display system, a sales system, and a data generation accept system capable of improving usability of users by applying augmented reality processing to three-dimensional data of an object and three-dimensional data of a user or the like related to the object.SOLUTION: In a display system 1, a processing unit 15 applies augmented reality processing to image data of a position R, device data A1 of a first object stored in a first storage unit 13, and additional data related to the first object, and a display unit 12 superimposes and displays the image data of the position R, the device data A1 of the first object, and the additional data related to the first object which are augmented reality processed by the processing unit 15.SELECTED DRAWING: Figure 1

Description

本発明は、拡張現実技術を用いて物品を表示するシステム、販売するシステム、及び、これらのシステムで用いる三次元データの生成を受託するシステムに関する。 The present invention relates to a system for displaying an article using augmented reality technology, a system for selling, and a system for entrusting the generation of three-dimensional data used in these systems.

従来、ユーザーが物品を購入する際に、その物品を設置した際の状況を把握できるように、拡張現実技術を用いて物品を表示する技術が用いられている(例えば、特許文献1を参照)。特許文献1には、物品を拡張現実処理して表示する際に、その物品の追加情報を表示する技術が記載されている。詳細には、特許文献1に記載の技術によれば、拡張現実処理を施した表示画面にウィンドウを表示し、このウィンドウ内に物品の購入情報、物品情報等を表示する構成としている。 Conventionally, when a user purchases an article, a technique for displaying the article using augmented reality technology has been used so that the situation when the article is installed can be grasped (see, for example, Patent Document 1). .. Patent Document 1 describes a technique for displaying additional information of an article when the article is subjected to augmented reality processing and displayed. More specifically, according to the technique described in Patent Document 1, a window is displayed on a display screen subjected to augmented reality processing, and purchase information, article information, and the like of articles are displayed in the window.

特開2017−182810号公報JP-A-2017-182810

上記の如く、前記特許文献に記載の技術においては、ウィンドウを表示することにより、物品の追加情報を二次元的に表示する構成としている。一方、例えば高所作業装置のように使用者が乗って使用する物品や、複数の装置を組み合わせて使用する物品を選ぶ際は、安全な使用方法に則った上で、実際に使用者が使用して手が届く範囲を表示することなど、当該物品に関連した使用者等の三次元データとともに拡張現実処理を行うことが求められていた。 As described above, in the technique described in the patent document, the additional information of the article is displayed two-dimensionally by displaying the window. On the other hand, when selecting an article that the user rides on, such as an aerial work platform, or an article that is used in combination with a plurality of devices, the user actually uses it after following a safe usage method. It was required to perform augmented reality processing together with three-dimensional data of users and the like related to the article, such as displaying the reachable range.

本発明は以上の如き状況に鑑みてなされたものであり、本発明が解決しようとする課題は、物品の三次元データを、当該物品に関連した使用者等の三次元データとともに拡張現実処理を行うことにより、ユーザーの使い勝手を向上させることのできる、表示システム及び販売システムを提供することである。 The present invention has been made in view of the above circumstances, and the problem to be solved by the present invention is to perform augmented reality processing of three-dimensional data of an article together with three-dimensional data of a user or the like related to the article. By doing so, it is to provide a display system and a sales system that can improve the usability of the user.

以下では、上記課題を解決するための手段を説明する。 Hereinafter, means for solving the above problems will be described.

(1)本発明に係る表示システムは、周囲の状況を撮像して画像データを生成する撮像部と、前記撮像部が生成した前記画像データをリアルタイムで表示する表示部と、複数の物品の三次元データである装置データを記憶する第一の記憶部と、前記物品に関連する三次元データである付加データを記憶する第二の記憶部と、拡張現実感処理プログラムがインストールされた処理部と、を備え、前記処理部が、前記画像データと、前記第一の記憶部が記憶する一の物品の前記装置データと、前記一の物品に関連する前記付加データと、に対して拡張現実感処理を行い、前記表示部が、前記処理部により拡張現実感処理が施された、前記画像データと、前記一の物品の前記装置データと、前記一の物品に関連する前記付加データと、を重ね合わせて表示するものである。 (1) The display system according to the present invention includes an imaging unit that images the surrounding situation and generates image data, a display unit that displays the image data generated by the imaging unit in real time, and a tertiary of a plurality of articles. A first storage unit that stores device data that is the original data, a second storage unit that stores additional data that is three-dimensional data related to the article, and a processing unit in which an extended reality processing program is installed. , And the processing unit has an extended reality with respect to the image data, the device data of one article stored by the first storage unit, and the additional data related to the one article. The image data, the device data of the one article, and the additional data related to the one article, which have been processed and the display unit has been subjected to the extended reality processing by the processing unit. It is displayed in an overlapping manner.

(2)また、本発明に係る表示システムにおいて、前記処理部が、前記画像データに生成された周囲の状況の寸法と前記一の物品の前記装置データの寸法とを対応させて拡張現実感処理を行うものである。 (2) Further, in the display system according to the present invention, the processing unit performs augmented reality processing by associating the dimensions of the surrounding situation generated in the image data with the dimensions of the device data of the one article. Is to do.

(3)また、本発明に係る表示システムにおいて、前記第一の記憶部は、前記物品の形態ごとに前記装置データを記憶するものである。 (3) Further, in the display system according to the present invention, the first storage unit stores the device data for each form of the article.

(4)また、本発明に係る表示システムにおいて、前記第二の記憶部は、前記付加データとして、前記物品の使用者の身長データを記憶するものである。 (4) Further, in the display system according to the present invention, the second storage unit stores the height data of the user of the article as the additional data.

(5)また、本発明に係る表示システムにおいて、前記第二の記憶部は、前記付加データとして、前記物品の製品データを記憶するものである。 (5) Further, in the display system according to the present invention, the second storage unit stores the product data of the article as the additional data.

(6)また、本発明に係る表示システムにおいて、入力された前記物品の二次元データ、及び/又は、動画データに基づいて、前記装置データを生成する、装置データ生成部を備えるものである。 (6) Further, the display system according to the present invention includes a device data generation unit that generates the device data based on the input two-dimensional data of the article and / or the moving image data.

(7)また、本発明に係る販売システムは、商品の表示システムとして、(1)から(6)の何れか一に記載の表示システムを備えるものである。 (7) Further, the sales system according to the present invention includes the display system according to any one of (1) to (6) as a product display system.

(8)また、本発明に係るデータ生成受託システムは、前記物品の二次元データ、及び/又は、動画データを受信する受信部と、前記二次元データ、及び/又は、前記動画データに基づいて、(1)から(7)の何れか一に記載の表示システム又は販売システムで表示可能な前記装置データ及び前記付加データを生成する生成部と、前記装置データ及び前記付加データを送信する送信部と、を備えるものである。 (8) Further, the data generation contract system according to the present invention is based on the receiving unit that receives the two-dimensional data and / or the moving image data of the article, and the two-dimensional data and / or the moving image data. , A generation unit that generates the device data and the additional data that can be displayed by the display system or the sales system according to any one of (1) to (7), and a transmission unit that transmits the device data and the additional data. And.

本発明に係る表示システム、販売システム、及び、データ生成受託システムによれば、物品の三次元データを、当該物品に関連した使用者等の三次元データとともに拡張現実処理を行うことにより、使用者の使い勝手を向上させることができる、という効果を奏する。 According to the display system, the sales system, and the data generation consignment system according to the present invention, the user performs augmented reality processing on the three-dimensional data of the article together with the three-dimensional data of the user and the like related to the article. It has the effect of improving the usability of the system.

一実施形態に係る表示システムのブロック図。A block diagram of a display system according to an embodiment. 物品の選択画面を示した図。The figure which showed the selection screen of an article. 周囲の状況を撮像する状態を示した図。The figure which showed the state which imaged the surrounding situation. 周囲の画像データと物品の三次元データとを拡張現実処理で重ね合わせて表示した図。The figure which superposed and displayed the surrounding image data and the three-dimensional data of an article by augmented reality processing. (a)第一のアイコンをタッチした状態を表示した図、(b)使用者データを表示した図。(A) A diagram showing a state in which the first icon is touched, and (b) a diagram displaying user data. (a)及び(b)はそれぞれ使用者データを操作した状態を表示した図。(A) and (b) are diagrams showing the state in which the user data is operated, respectively. (a)第二のアイコンをタッチした状態を表示した図、(b)第一の製品データを表示した図。(A) A diagram showing a state in which the second icon is touched, and (b) a diagram displaying the first product data. (a)第二の製品データを表示した図、(b)第三の製品データを表示した図。(A) The figure which displayed the second product data, (b) The figure which displayed the third product data. (a)第三のアイコンをタッチした状態を表示した図、(b)第一のオプションデータを表示した図。(A) A diagram showing a state in which the third icon is touched, and (b) a diagram displaying the first option data. 第四のアイコンをタッチした状態を表示した図。The figure which displayed the state which touched the fourth icon. (a)第一の変形データを表示した図、(b)第二の変形データを表示した図。(A) The figure which displayed the first deformation data, (b) The figure which displayed the second deformation data.

まず、本実施形態に係るの表示システム1について、図1及び図2を用いて説明する。図1及び図2に示す如く、本実施形態に係る表示システム1は、本発明に係る物品の一実施例である高所作業装置を、スマートフォンやタブレットである携帯端末Mの表示部12によって表示可能に構成される。表示システム1は、販売システム(例えば、インターネット回線を介して物品の商取引を行うシステム)における商品の表示システムとして用いることが可能である。なお、本発明に採用される物品は高所作業装置に限定されるものではなく、他の什器や機器等、一般的な物品を広く採用することが可能である。 First, the display system 1 according to the present embodiment will be described with reference to FIGS. 1 and 2. As shown in FIGS. 1 and 2, the display system 1 according to the present embodiment displays the aerial work platform, which is an embodiment of the article according to the present invention, by the display unit 12 of the mobile terminal M, which is a smartphone or tablet. It is configured to be possible. The display system 1 can be used as a product display system in a sales system (for example, a system for conducting commercial transactions of goods via an Internet line). The article adopted in the present invention is not limited to the aerial work platform, and general articles such as other fixtures and equipment can be widely adopted.

図1に示す如く、表示システム1は撮像部11、表示部12、第一の記憶部13、第二の記憶部14、及び、処理部15を備える。なお、表示システム1を構成する各部については、本実施形態の如く一体的に構成しても、各種データを相互に通信可能に接続された状態で分離して構成しても差し支えない。以下、各構成について順に説明する。 As shown in FIG. 1, the display system 1 includes an imaging unit 11, a display unit 12, a first storage unit 13, a second storage unit 14, and a processing unit 15. It should be noted that each part constituting the display system 1 may be integrally configured as in the present embodiment, or various data may be separated and configured in a communicable state. Hereinafter, each configuration will be described in order.

撮像部11は、図3に示す如く表示システム1のユーザー(以下、単に「ユーザー」と記載する)が周囲の状況である風景画像を動画又は静止画として撮像することで画像データを生成するものである。図2に示す如く、本実施形態における撮像部11としては携帯端末Mに設けられたカメラが用いられる。本実施態様に係る表示システム1において、撮像部11は、撮影した画像をデジタルの画像データに変換して出力する小型のデジタルカメラが採用される。撮像部11で生成した画像データは図1に示す処理部15に入力される。 As shown in FIG. 3, the imaging unit 11 generates image data by capturing a landscape image of the surrounding situation as a moving image or a still image by a user of the display system 1 (hereinafter, simply referred to as “user”). Is. As shown in FIG. 2, a camera provided in the mobile terminal M is used as the image pickup unit 11 in the present embodiment. In the display system 1 according to the present embodiment, the imaging unit 11 employs a small digital camera that converts the captured image into digital image data and outputs the image. The image data generated by the imaging unit 11 is input to the processing unit 15 shown in FIG.

表示部12は、撮像部11が生成した画像データをリアルタイムで表示するものである。即ち、表示部12は図4に示す如く、撮像部11が撮影方向を変化させたり撮影場所を移動したりした場合に、画像データをリアルタイムで表示することができる。図2に示す如く、本実施形態における表示部12としては、携帯端末Mに設けられたタッチパネル機能付きの液晶ディスプレイが用いられる。 The display unit 12 displays the image data generated by the imaging unit 11 in real time. That is, as shown in FIG. 4, the display unit 12 can display image data in real time when the imaging unit 11 changes the shooting direction or moves the shooting location. As shown in FIG. 2, as the display unit 12 in the present embodiment, a liquid crystal display with a touch panel function provided on the mobile terminal M is used.

第一の記憶部13及び第二の記憶部14は、携帯端末Mが備える記憶手段である。本実施形態における第一の記憶部13及び第二の記憶部14としては、それぞれ携帯端末Mに設けられたメモリが用いられる。なお、第一の記憶部13及び/又は第二の記憶部14として、USBメモリやCD−ROMなどの外部メモリを採用することも可能である。また、インターネット回線を通じて携帯端末Mを外部のサーバー等と接続することにより、第一の記憶部13及び/又は第二の記憶部14を携帯端末Mと異なる機器に設けることも可能である。 The first storage unit 13 and the second storage unit 14 are storage means included in the mobile terminal M. As the first storage unit 13 and the second storage unit 14 in the present embodiment, the memories provided in the mobile terminal M are used, respectively. It is also possible to adopt an external memory such as a USB memory or a CD-ROM as the first storage unit 13 and / or the second storage unit 14. Further, by connecting the mobile terminal M to an external server or the like through an internet line, it is possible to provide the first storage unit 13 and / or the second storage unit 14 in a device different from the mobile terminal M.

第一の記憶部13は、複数の物品の三次元データである装置データを記憶する。本実施形態においては、装置データとして、種々の物品の三次元データが第一の記憶部13に記憶される。また、第一の記憶部13は、装置データとして、種々の物品を変形させた三次元データである変形データを、物品の形態ごとに記憶することも可能である。装置データは、図2の装置選択画面P1・P2・P3・・・の如く、表示部12において表示されて、ユーザーにより選択可能とされる。 The first storage unit 13 stores device data, which is three-dimensional data of a plurality of articles. In the present embodiment, three-dimensional data of various articles are stored in the first storage unit 13 as device data. Further, the first storage unit 13 can also store the deformation data, which is three-dimensional data obtained by deforming various articles, as the device data for each form of the article. The device data is displayed on the display unit 12 as shown in the device selection screens P1, P2, P3 ... In FIG. 2, and can be selected by the user.

また、表示システム1は、入力された物品の二次元データ(例えば六面図データなど)、及び/又は、動画データに基づいて装置データを生成する、装置データ生成部を備える構成とすることもできる。装置データ生成部により、二次元データ/動画データを入力することで表示システム1を使用することが可能となる。 Further, the display system 1 may be configured to include a device data generation unit that generates device data based on input two-dimensional data (for example, hexagonal view data) of an article and / or moving image data. it can. The device data generation unit makes it possible to use the display system 1 by inputting two-dimensional data / moving image data.

第二の記憶部14は、物品に関連する三次元データである付加データを記憶する。付加データとして、例えば、物品の使用者(以下、単に「使用者」と記載する)の身長データに基づいて生成された使用者データ、物品の寸法、重心位置等の製品データなどが第二の記憶部14に記憶される。 The second storage unit 14 stores additional data that is three-dimensional data related to the article. As additional data, for example, user data generated based on the height data of the user of the article (hereinafter, simply referred to as "user"), product data such as the size of the article and the position of the center of gravity are second. It is stored in the storage unit 14.

処理部15には拡張現実感処理プログラム、及び、画像処理プログラム等、以下に記載する処理を実行するその他のプロブラムがインストールされており、処理部15において拡張現実感処理及び種々の処理を実行する。本実施態様の表示システム1においては、処理部15として、中央演算処理装置(CPU)及び必要なメモリが用いられる。具体的には、撮像部11から画像データを受け取り、その画像データに、第一の記憶部13に記憶された装置データを合成する拡張現実感処理を行うものとなっている。この拡張現実感処理によって、図4に示すような合成画像が得られる。このように、本実施態様に係る表示システム1は、ユーザーが物品を購入する際などに、その物品を設置した際の状況を把握できように構成される。 The processing unit 15 has an augmented reality processing program, an image processing program, and other programs that execute the processes described below installed, and the processing unit 15 executes the augmented reality processing and various processes. .. In the display system 1 of the present embodiment, a central processing unit (CPU) and necessary memory are used as the processing unit 15. Specifically, an augmented reality process is performed in which image data is received from the imaging unit 11 and the device data stored in the first storage unit 13 is combined with the image data. By this augmented reality processing, a composite image as shown in FIG. 4 can be obtained. As described above, the display system 1 according to the present embodiment is configured so that the user can grasp the situation when the article is installed, such as when the user purchases the article.

処理部15における拡張現実感処理は、通常、処理部15に組み込まれたソフトウェア又は電子回路により実現される。処理部15で実行される拡張現実感処理の具体的な方法は、特に限定されるものではない。本実施態様の表示システム1における拡張現実感処理を実現するためのソフトウェアとしては、「NyARToolKit」や「AndAR」などのARToolKit等を採用することが可能である。 The augmented reality processing in the processing unit 15 is usually realized by software or an electronic circuit incorporated in the processing unit 15. The specific method of the augmented reality processing executed by the processing unit 15 is not particularly limited. As software for realizing augmented reality processing in the display system 1 of the present embodiment, it is possible to adopt ARToolKit such as "NyARTToolKit" or "AndAR".

本実施態様の表示システム1では、上記の通り、撮像部11が動画を撮影するものとなっていることに加えて、装置データを、仮想三次元空間上でモデリングされた実時間処理可能な三次元コンピュータグラフィックスにより作成しているので、撮影方向や撮影場所が変化しても、リアルタイムに合成画像が更新されるようになっている。したがって、異なる撮影方向や撮影場所からの物品の装置データ及び風景をリアルタイムに確認することができるようになっている。 In the display system 1 of the present embodiment, as described above, in addition to the imaging unit 11 capturing a moving image, the device data is modeled in a virtual three-dimensional space and can be processed in real time. Since it was created using the original computer graphics, the composite image is updated in real time even if the shooting direction or shooting location changes. Therefore, it is possible to confirm the device data and the landscape of the article from different shooting directions and shooting locations in real time.

本実施態様に係る表示システム1で物品を表示する際には、まず、図2の装置選択画面P1・P2・P3・・・の如く、表示部12に第一の記憶部13に記憶される装置データを表示する。ユーザーは装置選択画面P1・P2・P3・・・の何れかをタッチすることにより、物品を選択する。本実施形態においては、装置選択画面P1が選択されたものとして説明する。この際、選択された装置選択画面P1において、色やサイズのバリエーションを変更可能に構成することも可能である。なお、カタログ等に記載されているQRコード(登録商標)を撮像部11で読み取ることにより装置を選択し、第一の記憶部13に記憶される装置データのうち選択された装置データを表示部12に表示する構成とすることも可能である。 When displaying an article in the display system 1 according to the present embodiment, first, as shown in the device selection screens P1, P2, P3 ... In FIG. 2, the display unit 12 stores the article in the first storage unit 13. Display device data. The user selects an article by touching any of the device selection screens P1, P2, P3 .... In the present embodiment, it is assumed that the device selection screen P1 is selected. At this time, on the selected device selection screen P1, it is also possible to configure the color and size variations to be changeable. The device is selected by reading the QR code (registered trademark) described in the catalog or the like with the imaging unit 11, and the selected device data among the device data stored in the first storage unit 13 is displayed in the display unit. It is also possible to have a configuration to be displayed on 12.

次に、図3に示す如く、ユーザーが拡張現実感処理を施す場所Rの風景画像を撮像部11で撮像して画像データを生成する。そして、処理部15が、場所Rの画像データと、選択された物品の装置データA1と、に対して拡張現実感処理を行う。そして、図4に示す如く、表示部12が、処理部15により拡張現実感処理が施された、場所Rの画像データと、選択された物品の装置データA1と、を重ね合わせて表示する。これにより、ユーザーが、装置データA1に係る物品を場所Rに設置した際の状況を把握することが可能となる。本実施形態において、ユーザーは指で表示部12の画面にタッチすることにより、装置データA1を表示部12の画面上で表示する表示位置を変更したり、配置方向を変えたりすることができる。 Next, as shown in FIG. 3, the image pickup unit 11 captures a landscape image of the place R where the user performs augmented reality processing to generate image data. Then, the processing unit 15 performs augmented reality processing on the image data of the place R and the device data A1 of the selected article. Then, as shown in FIG. 4, the display unit 12 superimposes and displays the image data of the place R that has been subjected to the augmented reality processing by the processing unit 15 and the device data A1 of the selected article. This makes it possible for the user to grasp the situation when the article related to the device data A1 is installed at the place R. In the present embodiment, the user can change the display position of displaying the device data A1 on the screen of the display unit 12 or change the arrangement direction by touching the screen of the display unit 12 with a finger.

この際、場所Rにおける設置面の状況に基づいて、装置データA1が設置可能か否かを判断する構成とすることも可能である。例えば、設置面が許容範囲以上に傾斜している場合などは、「設置不能」の表示を表示部12に表示させる構成とすることもできる。 At this time, it is also possible to determine whether or not the device data A1 can be installed based on the condition of the installation surface at the place R. For example, when the installation surface is inclined more than the permissible range, the display unit 12 may be configured to display "cannot be installed".

上記の如く、処理部15が拡張現実感処理を行う際には、画像データに生成された場所Rの状況の寸法と、選択された物品の装置データA1の寸法とを対応させている。これにより、ユーザーが、装置データA1に係る物品を場所Rに設置した際の配置状況をより正確に把握することが可能となる。また、場所Rに配置されている物と装置データA1とが干渉するか否かを判断することもできる。さらに、場所Rに配置されている物と装置データA1との距離(空間寸法)を表示させることも可能である。 As described above, when the processing unit 15 performs the augmented reality processing, the dimension of the situation of the place R generated in the image data and the dimension of the device data A1 of the selected article are made to correspond to each other. This makes it possible for the user to more accurately grasp the arrangement state when the article related to the device data A1 is installed at the place R. It is also possible to determine whether or not the object arranged at the location R and the device data A1 interfere with each other. Further, it is also possible to display the distance (spatial dimension) between the object arranged at the place R and the device data A1.

本実施形態に係る表示システム1においては、処理部15が、場所Rの画像データと、選択された物品の装置データA1と、に加えて、第二の記憶部14に記憶されている、選択された物品に関連する付加データと、に対して拡張現実感処理を行い、表示部12が、処理部15により拡張現実感処理が施された、場所Rの画像データと、選択された物品の装置データA1と、選択された物品に関連する付加データと、を重ね合わせて表示することを可能としている。 In the display system 1 according to the present embodiment, the processing unit 15 stores in the second storage unit 14 in addition to the image data of the location R and the device data A1 of the selected article. Augmented reality processing was performed on the additional data related to the selected article, and the display unit 12 performed augmented reality processing by the processing unit 15. The image data of the place R and the selected article. It is possible to superimpose and display the device data A1 and the additional data related to the selected article.

以下、付加データの表示方法について、順に説明する。表示システム1において場所Rの画像データと物品の装置データA1とを重ね合わせて表示した際には、図4に示す如く、表示部12の下部にアイコンI1〜I4が表示される。これらのアイコンI1〜I4をユーザーがタッチすることにより、表示部12に、第二の記憶部14に記憶される付加データが表示される。 Hereinafter, the display method of the additional data will be described in order. When the image data of the place R and the device data A1 of the article are superimposed and displayed in the display system 1, the icons I1 to I4 are displayed at the lower part of the display unit 12 as shown in FIG. When the user touches these icons I1 to I4, the additional data stored in the second storage unit 14 is displayed on the display unit 12.

図4における表示部12に表示されるアイコンI1は、付加データのうち、物品の使用者の身長データに基づいて生成された使用者データFaを表示させるものである。具体的には、図5(a)に示す如くユーザーが指FでアイコンI1をタッチすると、130cmから10cm刻みで190cmまでの身長が記載されたウィンドウW1が表示される。ユーザーがウィンドウW1における170cmの部分をタッチすると、図5(b)に示す如く、身長170cmに相当する大きさの使用者データFaが表示される。 The icon I1 displayed on the display unit 12 in FIG. 4 displays the user data Fa generated based on the height data of the user of the article among the additional data. Specifically, when the user touches the icon I1 with the finger F as shown in FIG. 5A, a window W1 in which the height from 130 cm to 10 cm is described is displayed. When the user touches the 170 cm portion of the window W1, the user data Fa having a size corresponding to 170 cm in height is displayed as shown in FIG. 5 (b).

図6(a)に示す如く、ユーザーは指Fで表示部12の画面にタッチすることにより、使用者データFaを表示部12の画面上で移動させることができる。この際、使用者データFaが装置データA1において配置できない箇所(装置データA1である脚立において使用を禁止されている天板部分)に位置した場合、図6(a)に示す如く「NG」の表示がなされる。一方、使用者データFaが装置データA1において配置できる箇所(装置データA1である脚立において使用が認められている踏桟部分)に位置した場合、図6(b)に示す如く「Good」の表示がなされる。 As shown in FIG. 6A, the user can move the user data Fa on the screen of the display unit 12 by touching the screen of the display unit 12 with the finger F. At this time, when the user data Fa is located at a place where the device data A1 cannot be arranged (the top plate portion whose use is prohibited in the stepladder which is the device data A1), it is "NG" as shown in FIG. 6A. The display is made. On the other hand, when the user data Fa is located at a place where it can be arranged in the device data A1 (a step ladder portion which is permitted to be used in the stepladder which is the device data A1), "Good" is displayed as shown in FIG. 6B. Is done.

上記の如く、表示システム1においては、表示部12が、処理部15により拡張現実感処理が施された、場所Rの画像データと、選択された物品の装置データA1と、選択された物品に関連する付加データである使用者データFaと、を重ね合わせて表示する構成としている。これにより、ユーザーが、装置データA1に係る物品を場所Rに設置した際の使用状況を正確に把握することが可能となる。具体的には、場所Rにおいて自身の身長でどの高さまで手が届くかを容易に判断することができる。表示システム1を物品の販売システムの一部として用いる場合は、ユーザーが物品を購入する際の判断をより容易に行うことが可能となるため、ユーザーが表示システム1を使う際の使い勝手を向上させることができる。 As described above, in the display system 1, the display unit 12 uses the image data of the location R, the device data A1 of the selected article, and the selected article, which have been subjected to augmented reality processing by the processing unit 15. The user data Fa, which is related additional data, is superimposed and displayed. This makes it possible for the user to accurately grasp the usage status when the article related to the device data A1 is installed at the place R. Specifically, it is possible to easily determine to what height the person can reach at the place R by his / her height. When the display system 1 is used as a part of the goods sales system, it becomes possible for the user to make a decision when purchasing the goods more easily, so that the usability when the user uses the display system 1 is improved. be able to.

表示システム1において、図6(b)に示す如く、場所Rの画像データ、物品の装置データA1、及び、使用者データFaを重ね合わせて表示した際に、使用者データFaの手が届く領域を表示することも可能である。これにより、選択された身長の使用者が作業できる領域を、ユーザーが容易に把握することができる。また、道具を持った使用者データを付加データとして使用することもできる。これにより、道具を持った使用者の作業可能領域を表示することも可能である。 In the display system 1, as shown in FIG. 6B, when the image data of the place R, the device data A1 of the article, and the user data Fa are superimposed and displayed, the area within the reach of the user data Fa. It is also possible to display. As a result, the user can easily grasp the area where the user of the selected height can work. In addition, user data with tools can be used as additional data. This makes it possible to display the workable area of the user holding the tool.

図4における表示部12に表示されるアイコンI2は、付加データのうち、物品の製品諸元、寸法、重心位置、禁止事項、注意事項、PL情報、取扱説明情報等の種々の製品データを表示させるものである。具体的には、図7(a)に示す如くユーザーが指FでアイコンI2をタッチすると、製品データの種類が記載されたウィンドウW2が表示される。ユーザーがウィンドウW2における製品諸元に相当する部分をタッチすると、図7(b)に示す如く、装置データA1に関する第一の製品データである材質、重量、耐荷重等の表示画面データIaが表示される。同様に、ウィンドウW2における禁止事項、注意事項、PL情報、取扱説明情報等に相当する部分をタッチすると、それぞれの表示画面データが表示される。 The icon I2 displayed on the display unit 12 in FIG. 4 displays various product data such as product specifications, dimensions, center of gravity position, prohibited items, precautions, PL information, and instruction manual information of the article among the additional data. It is something that makes you. Specifically, when the user touches the icon I2 with the finger F as shown in FIG. 7A, a window W2 in which the type of product data is described is displayed. When the user touches the part corresponding to the product specifications in the window W2, as shown in FIG. 7B, the display screen data Ia such as the material, weight, load capacity, etc., which is the first product data related to the device data A1, is displayed. Will be done. Similarly, when the parts corresponding to the prohibited items, precautions, PL information, instruction manual information, etc. in the window W2 are touched, the respective display screen data is displayed.

また、ユーザーがウィンドウW2における寸法に相当する部分をタッチすると、図8(a)に示す如く、装置データA1の第二の製品データである寸法データIbが表示される。この際、表示される寸法を、メートル表示、ヤード表示、又は尺貫法表示の何れかに選択可能とすることもできる。 Further, when the user touches the portion corresponding to the dimension in the window W2, the dimension data Ib, which is the second product data of the device data A1, is displayed as shown in FIG. 8A. At this time, the displayed dimensions can be selected from metric display, yard display, and shakkanho display.

また、ユーザーがウィンドウW2における重心位置に相当する部分をタッチすると、図8(b)に示す如く、装置データA1の第三の製品データである、重心位置を示す重心データGが表示される。この際、クレーンで装置データA1に係る物品を吊下げる時の吊下げ位置(ボルト等の取り付け位置)を表示させることも可能である。また、装置データA1に係る物品を吊下げる際に用いるクレーンを表示させることも可能である。 When the user touches the portion corresponding to the position of the center of gravity in the window W2, the center of gravity data G indicating the position of the center of gravity, which is the third product data of the device data A1, is displayed as shown in FIG. 8B. At this time, it is also possible to display the hanging position (attachment position of bolts and the like) when the article related to the device data A1 is suspended by the crane. It is also possible to display the crane used when suspending the article according to the device data A1.

上記の如く、表示システム1においては、表示部12が、処理部15により拡張現実感処理が施された、場所Rの画像データと、選択された物品の装置データA1と、選択された物品に関連する付加データである製品データと、を重ね合わせて表示する構成としている。これにより、ユーザーが、装置データA1に係る物品を場所Rに設置した際の状況を正確に把握することが可能となる。表示システム1を物品の販売システムの一部として用いる場合は、場所Rにおける物品の重量、寸法、重心位置等に基づいて、ユーザーが物品を購入する際の判断をより容易に行うことが可能となる。 As described above, in the display system 1, the display unit 12 applies the image data of the location R, the device data A1 of the selected article, and the selected article to which the augmented reality processing has been performed by the processing unit 15. The product data, which is related additional data, is superimposed and displayed. This makes it possible for the user to accurately grasp the situation when the article related to the device data A1 is installed at the place R. When the display system 1 is used as a part of the article sales system, it is possible for the user to more easily make a decision when purchasing the article based on the weight, size, center of gravity position, etc. of the article at the place R. Become.

図4における表示部12に表示されるアイコンI3は、付加データのうち、物品に追加して組付けるオプション器具のデータであるオプションデータを表示させるものである。具体的には、図9(a)に示す如くユーザーが指FでアイコンI3をタッチすると、オプションデータの種類が記載されたウィンドウW3が表示される。ユーザーがウィンドウW3における一のオプションデータの表示部分をタッチすると、図9(b)に示す如く、装置データA1に関するオプションデータOpが表示される。 The icon I3 displayed on the display unit 12 in FIG. 4 displays optional data which is data of an optional device to be additionally assembled to the article among the additional data. Specifically, when the user touches the icon I3 with the finger F as shown in FIG. 9A, the window W3 in which the type of option data is described is displayed. When the user touches the display portion of one option data in the window W3, the option data Op related to the device data A1 is displayed as shown in FIG. 9B.

上記の如く、表示システム1においては、表示部12が、処理部15により拡張現実感処理が施された、場所Rの画像データと、選択された物品の装置データA1と、選択された物品に関連する付加データであるオプションデータと、を重ね合わせて表示する構成としている。これにより、ユーザーが、装置データA1に係る物品を場所Rに設置した際の状況を正確に把握することが可能となる。表示システム1を物品の販売システムの一部として用いる場合は、場所Rにおける物品のオプション器具の配置構成に基づいて、ユーザーが物品を購入する際の判断をより容易に行うことが可能となる。 As described above, in the display system 1, the display unit 12 applies the image data of the location R, the device data A1 of the selected article, and the selected article to which the augmented reality processing has been performed by the processing unit 15. The configuration is such that the optional data, which is related additional data, is superimposed and displayed. This makes it possible for the user to accurately grasp the situation when the article related to the device data A1 is installed at the place R. When the display system 1 is used as a part of the article sales system, it becomes possible for the user to make a decision when purchasing the article more easily based on the arrangement configuration of the article option equipment at the place R.

図4における表示部12に表示されるアイコンI4は、第一の記憶部13が記憶する、物品の形態が変化した変形データを表示させるものである。具体的には、図10に示す如くユーザーが指FでアイコンI4をタッチすると、変形データの種類が記載されたウィンドウW4が表示される。ユーザーがウィンドウW4における一の変形データである収納状態の表示部分をタッチすると、図11(a)に示す如く、装置データA1に係る脚立を収納状態とした第一変形データA2が表示される。ユーザーがウィンドウW4における他の変形データであるはしご状態の表示部分をタッチすると、図11(b)に示す如く、装置データA1に係る脚立をはしご状態とした第二変形データA3が表示される。 The icon I4 displayed on the display unit 12 in FIG. 4 displays the deformation data in which the form of the article is changed, which is stored in the first storage unit 13. Specifically, when the user touches the icon I4 with the finger F as shown in FIG. 10, a window W4 in which the type of transformation data is described is displayed. When the user touches the display portion of the stored state, which is one of the deformed data in the window W4, the first deformed data A2 in which the stepladder related to the device data A1 is stored is displayed as shown in FIG. 11A. When the user touches the display portion of the ladder state which is other deformation data in the window W4, the second deformation data A3 in which the stepladder according to the device data A1 is in the ladder state is displayed as shown in FIG. 11B.

上記の如く、表示システム1においては、表示部12が、処理部15により拡張現実感処理が施された、場所Rの画像データと、選択された物品の変形データと、を重ね合わせて表示する構成としている。これにより、ユーザーが、装置データA1に係る物品を変形させた際の状況を正確に把握することが可能となる。表示システム1を物品の販売システムの一部として用いる場合は、場所Rにおける物品を変形させた状態に基づいて、ユーザーが物品を購入する際の判断をより容易に行うことが可能となる。なお、なお、第一の記憶部13で記憶する変形データとしては、物品において調整可能部分を可動範囲で調整させたものを採用することも可能である。また、変形データの他の例として、複数の装置データを積み重ねたり、並べたりしたものを採用することも可能である。 As described above, in the display system 1, the display unit 12 superimposes and displays the image data of the place R that has been subjected to the augmented reality processing by the processing unit 15 and the deformation data of the selected article. It has a structure. This makes it possible for the user to accurately grasp the situation when the article related to the device data A1 is deformed. When the display system 1 is used as a part of the article sales system, the user can more easily make a decision when purchasing the article based on the deformed state of the article at the place R. As the deformation data stored in the first storage unit 13, it is also possible to adopt data in which the adjustable portion of the article is adjusted within the movable range. Further, as another example of the deformation data, it is also possible to adopt a data obtained by stacking or arranging a plurality of device data.

なお、表示システム1、又は、表示システム1を用いた販売システムで表示する装置データ及び付加データの生成を、データ生成受託システムを介して受託する構成とすることもできる。具体的には、データ生成受託システムは、受信部、生成部、及び、送信部を備える。受信部は、物品の二次元データ、及び/又は、動画データを委託者から受信する。生成部は、受信部が受信した二次元データ/動画データに基づいて、表示システム1又は販売システムで表示可能な装置データ及び付加データを生成する。送信部は、生成した装置データ及び付加データを委託者に送信する。この際、装置データ又は付加データをQRコード(登録商標)の形にして送信することも可能である。これにより、委託者は自らが装置データ及び付加データを生成することなく、表示システム1及び販売システムを利用することが可能となる。 It should be noted that the display system 1 or the sales system using the display system 1 may be configured to generate the device data and the additional data to be displayed via the data generation consignment system. Specifically, the data generation contract system includes a receiving unit, a generating unit, and a transmitting unit. The receiving unit receives the two-dimensional data of the article and / or the moving image data from the consignor. The generation unit generates device data and additional data that can be displayed by the display system 1 or the sales system based on the two-dimensional data / moving image data received by the reception unit. The transmission unit transmits the generated device data and additional data to the consignor. At this time, it is also possible to transmit the device data or additional data in the form of a QR code (registered trademark). As a result, the consignor can use the display system 1 and the sales system without generating the device data and the additional data by himself / herself.

1 表示システム
11 撮像部 12 表示部
13 第一の記憶部 14 第二の記憶部
15 処理部 A1 装置データ
A2 第一変形データ A3 第二変形データ
F 指 Fa 使用者データ
M 携帯端末 I アイコン
Ia 表示画面データ Ib 寸法データ
Op オプションデータ G 重心データ
R 場所 P 装置選択画面
W ウィンドウ
1 Display system
11 Imaging unit 12 Display unit
13 First storage unit 14 Second storage unit
15 Processing unit A1 Device data
A2 1st deformation data A3 2nd deformation data
F finger Fa user data
M mobile terminal I icon
Ia display screen data Ib dimension data
Op option data G center of gravity data
R location P device selection screen
W window

Claims (8)

周囲の状況を撮像して画像データを生成する撮像部と、前記撮像部が生成した前記画像データをリアルタイムで表示する表示部と、複数の物品の三次元データである装置データを記憶する第一の記憶部と、前記物品に関連する三次元データである付加データを記憶する第二の記憶部と、拡張現実感処理プログラムがインストールされた処理部と、を備え、
前記処理部が、前記画像データと、前記第一の記憶部が記憶する一の物品の前記装置データと、前記一の物品に関連する前記付加データと、に対して拡張現実感処理を行い、
前記表示部が、前記処理部により拡張現実感処理が施された、前記画像データと、前記一の物品の前記装置データと、前記一の物品に関連する前記付加データと、を重ね合わせて表示する、表示システム。
An imaging unit that captures the surrounding situation and generates image data, a display unit that displays the image data generated by the imaging unit in real time, and a device data that is three-dimensional data of a plurality of articles are stored first. A storage unit, a second storage unit that stores additional data that is three-dimensional data related to the article, and a processing unit in which an augmented reality processing program is installed.
The processing unit performs augmented reality processing on the image data, the device data of one article stored in the first storage unit, and the additional data related to the one article.
The display unit superimposes and displays the image data, the device data of the one article, and the additional data related to the one article, which has been subjected to augmented reality processing by the processing unit. Display system.
前記処理部が、前記画像データに生成された周囲の状況の寸法と前記一の物品の前記装置データの寸法とを対応させて拡張現実感処理を行う、請求項1に記載の表示システム。 The display system according to claim 1, wherein the processing unit performs augmented reality processing by associating the dimensions of the surrounding situation generated in the image data with the dimensions of the device data of the one article. 前記第一の記憶部は、前記物品の形態ごとに前記装置データを記憶する、請求項1又は請求項2に記載の表示システム。 The display system according to claim 1 or 2, wherein the first storage unit stores the device data for each form of the article. 前記第二の記憶部は、前記付加データとして、前記物品の使用者の身長データを記憶する、請求項1から請求項3の何れか1項に記載の表示システム。 The display system according to any one of claims 1 to 3, wherein the second storage unit stores height data of the user of the article as the additional data. 前記第二の記憶部は、前記付加データとして、前記物品の製品データを記憶する、請求項1から請求項3の何れか1項に記載の表示システム。 The display system according to any one of claims 1 to 3, wherein the second storage unit stores product data of the article as the additional data. 入力された前記物品の二次元データ、及び/又は、動画データに基づいて、前記装置データを生成する、装置データ生成部を備える、請求項1から請求項5の何れか1項に記載の表示システム。 The display according to any one of claims 1 to 5, further comprising a device data generation unit that generates the device data based on the input two-dimensional data and / or moving image data of the article. system. 商品の表示システムとして、請求項1から請求項6の何れか1項に記載の表示システムを備える、販売システム。 A sales system including the display system according to any one of claims 1 to 6, as a product display system. 前記物品の二次元データ、及び/又は、動画データを受信する受信部と、
前記二次元データ、及び/又は、前記動画データに基づいて、請求項1から請求項7の何れか1項に記載の表示システム又は販売システムで表示可能な前記装置データ及び前記付加データを生成する生成部と、
前記装置データ及び前記付加データを送信する送信部と、を備える、データ生成受託システム。

A receiving unit that receives two-dimensional data and / or moving image data of the article, and
Based on the two-dimensional data and / or the moving image data, the device data and the additional data that can be displayed by the display system or the sales system according to any one of claims 1 to 7 are generated. Generator and
A data generation consignment system including a transmission unit for transmitting the device data and the additional data.

JP2019073672A 2019-04-08 2019-04-08 Display system, sales system, and data generation contract system for high-altitude work equipment Active JP7385180B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019073672A JP7385180B2 (en) 2019-04-08 2019-04-08 Display system, sales system, and data generation contract system for high-altitude work equipment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019073672A JP7385180B2 (en) 2019-04-08 2019-04-08 Display system, sales system, and data generation contract system for high-altitude work equipment

Publications (2)

Publication Number Publication Date
JP2020173510A true JP2020173510A (en) 2020-10-22
JP7385180B2 JP7385180B2 (en) 2023-11-22

Family

ID=72831332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019073672A Active JP7385180B2 (en) 2019-04-08 2019-04-08 Display system, sales system, and data generation contract system for high-altitude work equipment

Country Status (1)

Country Link
JP (1) JP7385180B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046326A (en) * 2002-07-09 2004-02-12 Dainippon Screen Mfg Co Ltd Device and method for displaying picture and program
JP2017182810A (en) * 2011-10-27 2017-10-05 イーベイ インク.Ebay Inc. Visualization of items using augmented reality
JP2017182412A (en) * 2016-03-30 2017-10-05 日本電気株式会社 Virtual arrangement device, virtual arrangement method, and program
JP2018163652A (en) * 2017-03-24 2018-10-18 ナブテスコ株式会社 Automatic door installation state presentation method, device and system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046326A (en) * 2002-07-09 2004-02-12 Dainippon Screen Mfg Co Ltd Device and method for displaying picture and program
JP2017182810A (en) * 2011-10-27 2017-10-05 イーベイ インク.Ebay Inc. Visualization of items using augmented reality
JP2017182412A (en) * 2016-03-30 2017-10-05 日本電気株式会社 Virtual arrangement device, virtual arrangement method, and program
JP2018163652A (en) * 2017-03-24 2018-10-18 ナブテスコ株式会社 Automatic door installation state presentation method, device and system

Also Published As

Publication number Publication date
JP7385180B2 (en) 2023-11-22

Similar Documents

Publication Publication Date Title
US10620778B2 (en) Augmentable and spatially manipulable 3D modeling
US10134293B2 (en) Systems and methods for autonomous drone navigation
JP7064040B2 (en) Display system and display control method of display system
JP5304341B2 (en) Information visualization system, method and program
JP4838079B2 (en) Part identification image creating apparatus, program, and computer-readable storage medium
US20190304009A1 (en) Systems and methods of sharing an augmented environment with a companion
CN111107912B (en) Virtual reality head-mounted equipment support
CN106200944A (en) The control method of a kind of object, control device and control system
CN108431734A (en) Touch feedback for non-touch surface interaction
WO2016199736A1 (en) Virtual space position designation method, program, recording medium having program recorded thereon, and device
WO2014200797A1 (en) Systems and methods for operating and managing enterprise systems on a mobile electronic device
CN110370268A (en) The methods, devices and systems sorted in case
CN106791818B (en) Test the method for camera resolving power and the equipment for the test of camera resolving power
Dhiman et al. Worker assistance in smart production environments using pervasive technologies
JP2024042003A (en) Layout design device, layout design method and program
Pintzos et al. A novel approach for the combined use of AR goggles and mobile devices as communication tools on the shopfloor
JP7385180B2 (en) Display system, sales system, and data generation contract system for high-altitude work equipment
JP2015049536A (en) Terminal device, display method, program, and display system
JP2020160925A (en) Display system and sales system for high lift work device
Klompmaker et al. Authenticated tangible interaction using RFID and depth-sensing cameras
Parent et al. Usability of a large-scale force-feedback device in different immersive environments
WO2019193885A1 (en) Information processing device, information processing method, and program
JP6094933B1 (en) Design support system, design support program, and design support method
EP3945488A1 (en) Remote shopping system, remote shopping method, and program
Piekarski et al. Through-walls collaboration

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230411

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231025

R150 Certificate of patent or registration of utility model

Ref document number: 7385180

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150