JP2018106358A - Setup assisting system - Google Patents

Setup assisting system Download PDF

Info

Publication number
JP2018106358A
JP2018106358A JP2016250919A JP2016250919A JP2018106358A JP 2018106358 A JP2018106358 A JP 2018106358A JP 2016250919 A JP2016250919 A JP 2016250919A JP 2016250919 A JP2016250919 A JP 2016250919A JP 2018106358 A JP2018106358 A JP 2018106358A
Authority
JP
Japan
Prior art keywords
setup
unit
image
current position
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016250919A
Other languages
Japanese (ja)
Inventor
徹 道上
Toru Michigami
徹 道上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2016250919A priority Critical patent/JP2018106358A/en
Publication of JP2018106358A publication Critical patent/JP2018106358A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a setup assisting system capable of efficiently assisting operators who set up an event site.SOLUTION: The setup assisting system for assisting each operator using a spectacles type terminal 3 with a visual field imaging part 31 for imaging a front visual field and an AR image display part 32 for displaying an image overlapping the front visual field includes: a plurality of reference poles each of which has a base part 11 of a known length arranged at a plurality of respective known points in an event site G; setup data 7 arranging the reference poles and setup components on actually measured data 5 on the event site; a reference pole detection part 361 for detecting reference poles within a visual field image; a current location identification part 362 for identifying a current location and posture of the spectacles type terminal 3 as current location information on the basis of dimensions and locations of the reference poles within the view field: and a setup image depicting part 363 for depicting an AR image on the setup components based on the current location information and causes the AR image display part 32 to display it.SELECTED DRAWING: Figure 3

Description

本発明は、会場の設営をアシストする設営アシストシステムに関する。   The present invention relates to a setup assist system that assists in setting up a venue.

野外でスポーツやイベントを行う際の会場の設営は労力の掛る作業であり、作業の軽減化や効率化のための技術が求められている。そこで、従来技術として、ライン引きを行う自走式のラインカーが提案されている(例えば、特許文献1、2参照)。   Setting up a venue for outdoor sports and events is a labor-intensive work, and technology for reducing work and improving efficiency is required. Thus, as a conventional technique, a self-propelled line car that performs line drawing has been proposed (for example, see Patent Documents 1 and 2).

特開2008−243166号公報JP 2008-243166 A 特開2014−10810号公報JP 2014-10810 A

しかしながら、従来技術では、会場の設営を行う作業者は、自動で行われるライン引きを見守ることしかできず、作業者が行う作業について効率的にアシストすることができないという問題点があった。   However, the conventional technique has a problem that the operator who operates the venue can only watch the line drawing performed automatically, and cannot efficiently assist the work performed by the operator.

本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、会場の設営を行う作業者を効率的にアシストすることができる設営アシストシステムを提供することにある。   The present invention has been made in view of this point, and an object of the present invention is to provide a setup assist system that can efficiently assist a worker who sets up a venue.

本発明の画像形成装置の管理システムは、会場に設営パーツを設営する作業者を、前記作業者の前方視界を撮像する視界撮像部と、前記作業者の前方視界に重畳されて表示される画像表示部とを備えたメガネ型端末を用いてアシストする設営アシストシステムであって、既知長の基体部を有し、前記会場の複数の既知点にそれぞれ設置された複数の基準ポールと、前記会場の実測データに前記基準ポール及び前記設営パーツが配置された設営データを記憶する設営データ記憶部と、前記視界撮像部によって撮像された視界画像内の前記基準ポールを検出する基準ポール検出部と、前記基準ポール検出部によって複数の前記基準ポールが検出されると、視界画像内の前記基準ポールの大きさ及び位置に基づいて、前記実測データ内における前記メガネ型端末の現在位置及び姿勢を現在位置情報として特定する現在位置特定部と、前記現在位置情報に基づく前記設営パーツの拡張現実画像を描画して前記画像表示部に表示させる設営画像描画部と、を具備することを特微とする。
さらに、本発明の設営アシストシステムにおいて、前記メガネ型端末は、前記現在位置特定部によって前記現在位置情報して特定された前記現在位置からの移動距離及び移動方向を検出する移動検出部を具備し、前記現在位置特定部は、前記基準ポール検出部によって複数の前記基準ポールが検出されない場合、前記移動検出部による検出結果に基づいて前記現在位置情報を推定しても良い。
さらに、本発明の設営アシストシステムにおいて、前記設営パーツの設営スケジュールが設定された計画データを記憶する計画データ記憶部と、前記計画データの設営スケジュールに基づいて前記設営パーツを進捗状況別に分類する進捗管理部と、を具備し、前記設営画像描画部は、前記進捗管理部による分類ごとに前記設営パーツを区別して描画しても良い。
さらに、本発明の設営アシストシステムにおいて、前記計画データには、作業が完了したか否かを示す完了フラグが設定されており、前記進捗管理部は、前記計画データにおいて前記完了フラグが作業完了に書き換えられた前記設営パーツを前記設営画像描画部による描画を停止させる描画停止に分類しても良い。
さらに、本発明の設営アシストシステムにおいて、前記進捗管理部は、前記計画データにおいて設営期間前の前記設営パーツを前記設営画像描画部による描画を停止させる描画停止に分類しても良い。
さらに、本発明の設営アシストシステムにおいて、前記設営画像描画部は、前記現在位置情報に基づく前記会場の輪郭の拡張現実画像を描画して前記画像表示部に表示させても良い。
In the image forming apparatus management system according to the present invention, a worker who installs installation parts in a venue, a field imaging unit that images the worker's front field of view, and an image that is displayed superimposed on the worker's front field of view. A setup assist system that assists using a glasses-type terminal provided with a display unit, having a base portion of a known length, and a plurality of reference poles installed at a plurality of known points of the venue, and the venue A setup data storage unit that stores setup data in which the reference pole and the setup parts are arranged in the actual measurement data, a reference pole detection unit that detects the reference pole in the field-of-view image captured by the field-of-view imaging unit, When a plurality of the reference poles are detected by the reference pole detection unit, based on the size and position of the reference pole in the field-of-view image, the measurement data in the actual measurement data A current position specifying unit for specifying the current position and orientation of the money-type terminal as current position information; a setting image drawing unit for drawing an augmented reality image of the setting part based on the current position information and displaying the augmented reality image on the image display unit; It is characterized by comprising.
Furthermore, in the installation assist system of the present invention, the glasses-type terminal includes a movement detection unit that detects a movement distance and a movement direction from the current position specified by the current position information by the current position specifying unit. The current position specifying unit may estimate the current position information based on a detection result by the movement detection unit when a plurality of the reference poles are not detected by the reference pole detection unit.
Furthermore, in the installation assist system of the present invention, a plan data storage unit that stores plan data in which a setup schedule of the setup parts is set, and a progress that classifies the setup parts according to the progress status based on the setup schedule of the plan data A management unit, and the setup image drawing unit may draw the setup parts separately for each classification by the progress management unit.
Furthermore, in the setup assist system of the present invention, a completion flag indicating whether or not the work is completed is set in the plan data, and the progress management unit sets the completion flag in the plan data to the completion of the work. The rewritten setup part may be classified as a drawing stop for stopping drawing by the setup image drawing unit.
Furthermore, in the setting assistance system of the present invention, the progress management unit may classify the setting part before the setting period in the plan data as drawing stop for stopping drawing by the setting image drawing unit.
Furthermore, in the setup assist system of the present invention, the setup image drawing unit may draw an augmented reality image of the outline of the venue based on the current position information and display it on the image display unit.

本発明によれば、作業者の視界に会場に設営すべき設営パーツの拡張現実画像を重畳させて表示することができるため、作業者は拡張現実画像を見ながら設営作業を行うことができ、会場の設営を行う作業者を効率的にアシストすることができるという効果を奏する。   According to the present invention, since the augmented reality image of the construction parts to be installed in the venue can be superimposed and displayed on the field of view of the worker, the worker can perform the setup work while viewing the augmented reality image, There is an effect that it is possible to efficiently assist a worker who sets up the venue.

本発明に係る設営アシストシステムの実施の形態の構成を示すシステム構成図である。It is a system configuration figure showing the composition of the embodiment of the setup assistant system concerning the present invention. 図1に示す基準ポールの構成を示す図である。It is a figure which shows the structure of the reference | standard pole shown in FIG. 図1に示す設営プラン管理装置及びメガネ型端末の構成を示すブロック図である。It is a block diagram which shows the structure of the setup plan management apparatus and glasses-type terminal which are shown in FIG. 図3に示す設営データ生成部によって生成される設営データ例を示す図である。It is a figure which shows the setup data example produced | generated by the setup data production | generation part shown in FIG. 図3に示す計画データ生成部によって生成される計画データ例を示す図である。It is a figure which shows the plan data example produced | generated by the plan data production | generation part shown in FIG. 図3に示す視界撮像部によって撮影された視界画像例を示す図である。It is a figure which shows the example of a visual field image image | photographed by the visual field imaging part shown in FIG. 図3に示す現在位置特定部による現在位置の特定方法を説明する説明図である。It is explanatory drawing explaining the identification method of the present position by the present position specific | specification part shown in FIG. 図3に示す設営画像描画部によって描画された設営パーツの拡張現実画像例を示す図である。It is a figure which shows the example of an augmented reality image of the setup part drawn by the setup image drawing part shown in FIG.

次に、本発明の実施の形態を、図面を参照して具体的に説明する。   Next, embodiments of the present invention will be specifically described with reference to the drawings.

本実施の形態の設営アシストシステムは、スポーツやイベントを行う際の会場の設営をアシストするシステムであり、図1を参照すると、会場Gに設置する基準ポール1a〜1dと、設営プラン管理装置2と、メガネ型端末3と、を備えている。   The configuration assist system according to the present embodiment is a system that assists in setting up a venue when performing sports or events. Referring to FIG. 1, reference poles 1a to 1d installed in the venue G and a setup plan management device 2 And a glasses-type terminal 3.

基準ポール1a〜1dは、図2に示すように、円柱状の基体部11と、中心軸が垂直になるように基体部11を支持する足部12とを備えている。基体部11には、基体部11の基体長(長さ)を明確にするための計測基準部13と、基準ポール1a〜1dを区別して識別するための識別部14とが形成されている。本実施の形態において、計測基準部13は、基体部11の両端にそれぞれ表記された帯状のマーク(印)で構成し、識別部14は、計測基準部13に挟まれた領域に表記された、基準ポール1a〜1dで異なるパターン(模様)で構成した。なお、識別部14として、基準ポール1a〜1dで異なる色を用いるようにしても良い。この場合、基準ポール1a〜1d自体の色や計測基準部13の色によって、基準ポール1a〜1dを区別して識別することができる。   As shown in FIG. 2, the reference poles 1 a to 1 d include a columnar base portion 11 and a foot portion 12 that supports the base portion 11 so that the central axis is vertical. The base part 11 is formed with a measurement reference part 13 for clarifying the base length (length) of the base part 11 and an identification part 14 for distinguishing and identifying the reference poles 1a to 1d. In the present embodiment, the measurement reference unit 13 is configured by band-shaped marks (marks) respectively written at both ends of the base unit 11, and the identification unit 14 is described in a region sandwiched between the measurement reference units 13. The reference poles 1a to 1d have different patterns (patterns). Note that different colors may be used for the reference poles 1 a to 1 d as the identification unit 14. In this case, the reference poles 1a to 1d can be distinguished and identified by the color of the reference poles 1a to 1d themselves or the color of the measurement reference unit 13.

設営プラン管理装置2は、プログラム制御で動作するパーソナルコンピューターである。設営プラン管理装置2は、図3を参照すると、液晶ディスプレイ等の本体表示部21と、キーボード、マウス、タッチパネル等の本体入力部22と、半導体メモリ等の本体記憶部23と、本体通信部24と、本体制御部25と、を備えている。   The installation plan management apparatus 2 is a personal computer that operates under program control. Referring to FIG. 3, the configuration plan management apparatus 2 includes a main body display unit 21 such as a liquid crystal display, a main body input unit 22 such as a keyboard, a mouse, and a touch panel, a main body storage unit 23 such as a semiconductor memory, and a main body communication unit 24. And a main body control unit 25.

本体記憶部23には、基準データ4、実測データ5及びパーツデータ6が記憶されていると共に、設営プラン管理装置2によって生成された設営データ7及び計画データ8が記憶される。   The main body storage unit 23 stores reference data 4, actual measurement data 5, and part data 6, as well as setting data 7 and plan data 8 generated by the setting plan management device 2.

基準データ4は、基準ポール1a〜1dを識別し、基準ポール1a〜1dとの距離を認識するためのデータである。基準データ4は、識別部14と照合する照合データと、基体部11の基体長Xと、足部12の足長Yとを有し、照合データ、基体長X及び足長Yが、基準ポール1a〜1d毎に設定されている。なお、本実施の形態では、全ての基準ポール1a〜1dにおいて、基体長X及び足長Yを同一の設定としたが、基準ポール1a〜1d毎に、基体長X及び足長Yを変えても良い。   The reference data 4 is data for identifying the reference poles 1a to 1d and recognizing the distance from the reference poles 1a to 1d. The reference data 4 includes collation data to be collated with the identification unit 14, a base body length X of the base body part 11, and a foot length Y of the foot part 12, and the collation data, the base body length X and the foot length Y are the reference pole. It is set every 1a to 1d. In this embodiment, the base length X and the foot length Y are set to be the same for all the reference poles 1a to 1d. However, the base length X and the foot length Y are changed for each reference pole 1a to 1d. Also good.

実測データ5は、設営を行う会場の地形データと、磁針方位情報とからなる。   The actual measurement data 5 includes terrain data of the venue where the setup is performed and magnetic needle direction information.

パーツデータ6は、Nメートルトラック(直線、楕円状)、サッカー場、野球場、ラグビー場、テニスコート等の白線や、テント、ゴミ箱等の会場に設置する備品の形状及び寸法からなる。   The part data 6 is composed of white lines such as an N meter track (straight line, elliptical shape), a soccer field, a baseball field, a rugby field, a tennis court, and the shape and size of equipment installed in a venue such as a tent and a trash can.

本体制御部25は、本体表示部21、本体入力部22、本体記憶部23及び本体通信部24にそれぞれ接続され、設営プラン管理装置2全体の動作制御を実行する。本体制御部25は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を備えたマイクロコンピュータ等の情報処理部である。ROMには設営プラン管理装置2の動作制御を行うための制御プログラムが記憶されている。本体制御部25のCPUは、ROMに記憶されている制御プログラムを読み出し、制御プログラムをRAMに展開させることで、装置全体の制御を行う。また、本体制御部25は、設営データ生成部251及び計画データ生成部252としてそれぞれ機能する。   The main body control unit 25 is connected to the main body display unit 21, the main body input unit 22, the main body storage unit 23, and the main body communication unit 24, and executes operation control of the entire configuration plan management apparatus 2. The main body control unit 25 is an information processing unit such as a microcomputer provided with a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The ROM stores a control program for controlling the operation of the configuration plan management apparatus 2. The CPU of the main body control unit 25 reads the control program stored in the ROM and develops the control program in the RAM, thereby controlling the entire apparatus. The main body control unit 25 functions as a setup data generation unit 251 and a plan data generation unit 252, respectively.

設営データ生成部251は、図4に示すように、会場Gの実測データ5に、基準ポール1a〜1dと、設営パーツ(白線や設備)とを配置した設営データ7を生成する。設営データ生成部251は、本体表示部21に会場設営プラン作成画面として会場Gの実測データ5を表示させ、基準ポール1a〜1dと、設営パーツとの配置を受け付ける。なお、図4に示す設営データ7では、会場Gの実測データ5に、基準ポール1a〜1dが配置されていると共に、設営パーツとして、白線であるNメートルトラックと備品であるテント、ゴミ箱、跳び箱及びマットとが配置されている。   As shown in FIG. 4, the setting data generation unit 251 generates setting data 7 in which reference poles 1 a to 1 d and setting parts (white lines and equipment) are arranged in the actual measurement data 5 of the venue G. The setup data generation unit 251 displays the measurement data 5 of the venue G as the venue setup plan creation screen on the main body display unit 21, and accepts the arrangement of the reference poles 1a to 1d and the setup parts. In the setting data 7 shown in FIG. 4, reference poles 1a to 1d are arranged in the actual measurement data 5 of the venue G, and as setting parts, an N meter truck as a white line and a tent as a fixture, a trash can, a jump box And a mat.

設営データ生成部251は、本体入力部22からの操作によって、図形の種類や寸法を指定した設営パーツに対応する任意のパターンの入力及び配置や、パーツデータ6の選択及び配置を受け付ける。また、設営データ生成部251は、設営パーツの属性情報(名称、設営コメント等)も受け付ける。なお、パーツデータ6には、登録されている設営パーツの属性情報(名称、設営コメント等)を予め設定しておくと良い。   The setup data generation unit 251 receives an input and arrangement of an arbitrary pattern corresponding to a setup part for which the type and size of the figure are designated, and selection and arrangement of the part data 6 by an operation from the main body input unit 22. The setup data generation unit 251 also receives setup part attribute information (name, setup comment, etc.). In addition, in the part data 6, it is preferable to set in advance the attribute information (name, setting comment, etc.) of the registered setting parts.

設営データ生成部251は、パーツデータ6として、Nメートルトラック(直線、楕円状)、サッカー場、野球場、ラグビー場、テニスコート等の白線や、テント、ゴミ箱、跳び箱、マット等の備品の選択を受け付けた場合、角度、大きさ、位置の調整を受け付けて会場Gに配置させる。なお、設営データ生成部251は、楕円状のNメートルトラックの選択を受け付けた場合、全長を一定値に制約しながら、直線部の距離と曲線部の半径の変更を自動的に受け付けると良い。これにより、ドラッグ操作等でNメートルトラックにおける直線部と半円部の比率を会場Gの形に合わせて調整することができる。   The setup data generation unit 251 selects, as parts data 6, white lines such as N meter tracks (straight, oval), soccer fields, baseball fields, rugby fields, tennis courts, and equipment such as tents, trash cans, jump boxes, mats, etc. Is received, adjustment of the angle, size, and position is received and placed in the venue G. In addition, when the setting data generation unit 251 receives selection of an elliptical N-meter track, it is preferable that the setting data generation unit 251 automatically receives a change in the distance of the straight line portion and the radius of the curved portion while restricting the total length to a constant value. Thereby, the ratio of the straight line part and the semicircle part in the N meter track can be adjusted in accordance with the shape of the venue G by a drag operation or the like.

また、設営データ生成部251は、パーツデータ6として、テント、ゴミ箱等の立体形状の備品の選択を受け付けた場合、角度、位置の調整を受け付けて会場Gに配置させる。
なお、白線は2次元データとして、備品は3次元データとしてそれぞれ会場Gに配置される。
In addition, when receiving the selection of three-dimensional equipment such as a tent and a trash can as the part data 6, the setting data generation unit 251 receives the adjustment of the angle and the position and arranges it in the venue G.
The white line is arranged at the venue G as two-dimensional data, and the equipment is arranged as three-dimensional data.

計画データ生成部252は、図5に示すような、設営データ7に配置された設営パーツの設置作業及び撤収作業のスケジュールを計画データ8として生成する。計画データ生成部252は、設営データ7に配置された設営パーツをグループ分け指定を受け付けると共に、グループ毎に設営作業の開始時刻及び終了時刻と、撤収作業の開始時刻及び終了時刻とを受け付けることで、計画データ8を生成する。なお、図5に示す計画データ8では、設営パーツの種類ごとにグループ分けした例を示したが、同じ設営パーツでも別グループに設定しても良く、別の設営パーツを同じグループに設定しても良い。また、計画データ8には、図5に示すように、グループの設置作業及び撤収作業毎に完了フラグが設定されており、完了フラグが「0」で作業未完了を、「1」で作業完了をそれぞれ示している。   The plan data generation unit 252 generates, as the plan data 8, a schedule of installation work and withdrawal work for the setup parts arranged in the setup data 7 as shown in FIG. 5. The plan data generation unit 252 accepts the designation of grouping the setup parts arranged in the setup data 7 and accepts the start time and end time of the setup work and the start time and end time of the withdrawal work for each group. The plan data 8 is generated. In the plan data 8 shown in FIG. 5, an example of grouping for each type of installed part is shown. However, the same installed part or different group may be set, and different installed parts may be set to the same group. Also good. Further, as shown in FIG. 5, in the plan data 8, a completion flag is set for each group installation work and withdrawal work, and the work is not completed when the completion flag is “0”, and the work is completed when “1”. Respectively.

本体通信部24は、無線LAN等の無線通信によって、メガネ型端末3と各種データを送受信する機能を有する。本体通信部24は、本体記憶部23に記憶されている基準データ4と、設営データ生成部251によって生成された設営データ7と、計画データ生成部252によって生成された計画データ8とをメガネ型端末3に送信する。なお、設営データ7及び計画データ8について、本体通信部24は、メガネ型端末3と同期させる。   The main body communication unit 24 has a function of transmitting / receiving various data to / from the glasses-type terminal 3 by wireless communication such as a wireless LAN. The main body communication unit 24 converts the reference data 4 stored in the main body storage unit 23, the setting data 7 generated by the setting data generation unit 251, and the plan data 8 generated by the plan data generation unit 252 into glasses. Transmit to terminal 3. Note that the main body communication unit 24 synchronizes with the glasses-type terminal 3 for the setup data 7 and the plan data 8.

メガネ型端末3は、設営作業を行う作業者が頭部に装着するメガネ型のウェアラブル端末である。メガネ型端末3は、図3に示すように、視界撮像部31と、AR画像表示部32と、端末通信部33と、端末記憶部34と、操作部35と、端末制御部36と、加速度センサー37と、電子コンパス38とを備えている。   The glasses-type terminal 3 is a glasses-type wearable terminal that is worn on the head by a worker who performs the setting work. As shown in FIG. 3, the glasses-type terminal 3 includes a field-of-view imaging unit 31, an AR image display unit 32, a terminal communication unit 33, a terminal storage unit 34, an operation unit 35, a terminal control unit 36, an acceleration A sensor 37 and an electronic compass 38 are provided.

視界撮像部31は、図1に示すように、メガネ型端末3の前方側に向けて配置されたCCDカメラやCMOSカメラ等の固体撮像素子で構成されたカメラであり、作業者の前方視界を撮像する。以下、視界撮像部31によって撮像された画像を視界画像と称す。   As shown in FIG. 1, the field-of-view imaging unit 31 is a camera composed of a solid-state imaging device such as a CCD camera or a CMOS camera arranged toward the front side of the glasses-type terminal 3. Take an image. Hereinafter, an image captured by the visual field imaging unit 31 is referred to as a visual field image.

AR画像表示部32は、メガネ型端末3を作業者が装着すると、図1に示すような、作業者の眼球の直前に位置するハーフミラーを表示画面として有している。AR画像表示部32に投影された画像は、作業者の前方視界に重畳されて表示される。   When the worker wears the glasses-type terminal 3, the AR image display unit 32 has a half mirror positioned immediately before the worker's eyeball as a display screen as shown in FIG. 1. The image projected on the AR image display unit 32 is displayed so as to be superimposed on the operator's forward view.

端末通信部33は、無線LAN等の無線通信によって、設営プラン管理装置2と各種データを送受信する機能を有する。端末記憶部34は、半導体メモリ等の記憶手段である。端末通信部33は、設営プラン管理装置2から受信した基準データ4、設営データ7及び計画データ8を端末記憶部34に記憶させる。   The terminal communication unit 33 has a function of transmitting / receiving various data to / from the configuration plan management apparatus 2 through wireless communication such as wireless LAN. The terminal storage unit 34 is a storage unit such as a semiconductor memory. The terminal communication unit 33 stores the reference data 4, the configuration data 7, and the plan data 8 received from the configuration plan management apparatus 2 in the terminal storage unit 34.

操作部35は、AR画像表示部32と共にユーザーインターフェースを構成し、作業者による各種操作を受け付ける。   The operation unit 35 constitutes a user interface together with the AR image display unit 32 and accepts various operations by an operator.

端末制御部36は、視界撮像部31、AR画像表示部32、端末通信部33、端末記憶部34、操作部35、加速度センサー37及び電子コンパス38にそれぞれ接続され、メガネ型端末3全体の動作制御を実行する。端末制御部36は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を備えたマイクロコンピュータ等の情報処理部である。ROMにはメガネ型端末3の動作制御を行うための制御プログラムが記憶されている。端末制御部36のCPUは、ROMに記憶されている制御プログラムを読み出し、制御プログラムをRAMに展開させることで、端末全体の制御を行う。また、端末制御部36は、基準ポール検出部361、現在位置特定部362、設営画像描画部363及び進捗管理部364としてそれぞれ機能する。   The terminal control unit 36 is connected to the visual field imaging unit 31, the AR image display unit 32, the terminal communication unit 33, the terminal storage unit 34, the operation unit 35, the acceleration sensor 37, and the electronic compass 38, respectively. Execute control. The terminal control unit 36 is an information processing unit such as a microcomputer including a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The ROM stores a control program for controlling the operation of the glasses-type terminal 3. The CPU of the terminal control unit 36 reads the control program stored in the ROM and develops the control program in the RAM, thereby controlling the entire terminal. Further, the terminal control unit 36 functions as a reference pole detection unit 361, a current position specifying unit 362, a setup image drawing unit 363, and a progress management unit 364, respectively.

基準ポール検出部361は、視界撮像部31によって撮像された視界画像から基準ポール1a〜1dを検出する。基準ポール検出部361は、基準データ4の照合データを用いることで、基準ポール1a〜1dを区別して検出する。   The reference pole detection unit 361 detects the reference poles 1a to 1d from the view image captured by the view image pickup unit 31. The reference pole detection unit 361 uses the verification data of the reference data 4 to distinguish and detect the reference poles 1a to 1d.

現在位置特定部362は、基準ポール検出部361によって2本以上の基準ポール1a〜1dが検出されると、検出された基準ポール1a〜1dを用いて、実測データ5内におけるメガネ型端末3の現在位置と、姿勢(メガネ型端末3が向いている方角及び傾き)とを現在位置情報として特定する。   When the reference pole detection unit 361 detects two or more reference poles 1a to 1d, the current position specifying unit 362 uses the detected reference poles 1a to 1d to detect the glasses-type terminal 3 in the actual measurement data 5. The current position and posture (direction and inclination in which the glasses-type terminal 3 is facing) are specified as current position information.

また、加速度センサー37及び電子コンパス38は、所定位置からの移動距離と移動方向とを検出する移動検出部として機能する。現在位置特定部362は、加速度センサー37の出力と、電子コンパス38の出力とに基づいて、検出された基準ポール1a〜1dを用いて特定した現在位置からの移動距離と移動方向とを検出し、現在位置を追従する現在位置追従機能を備えている。これにより、基準ポール1a〜1dが見えない場合も現在位置情報を追従して推定することができ、次に基準ポール1a〜1dが見えるようになった時に、基準ポール1a〜1dを用いて正確な現在位置情報を特定し直すことができる。なお、移動検出部としてGPS(Global Positioning System)等の測位システムを備え、現在位置特定部362は、測位システムの出力によって、現在位置情報を追従して推定するようにしても良い。   The acceleration sensor 37 and the electronic compass 38 function as a movement detection unit that detects a movement distance and a movement direction from a predetermined position. The current position specifying unit 362 detects the moving distance and moving direction from the current position specified using the detected reference poles 1a to 1d based on the output of the acceleration sensor 37 and the output of the electronic compass 38. The current position tracking function for following the current position is provided. As a result, even when the reference poles 1a to 1d are not visible, the current position information can be tracked and estimated. When the reference poles 1a to 1d become visible next time, the reference poles 1a to 1d are accurately used. Current position information can be re-specified. In addition, a positioning system such as GPS (Global Positioning System) may be provided as the movement detection unit, and the current position specifying unit 362 may estimate the current position information by following the output of the positioning system.

設営画像描画部363は、現在位置特定部362によって特定もしくは推定された現在位置情報と、設営データ7とに基づいて、作業者の視界に重畳させる設営パーツの拡張現実画像(AR:Augmented Reality画像)を描画し、AR画像表示部32に表示させる。   The setup image drawing unit 363 is based on the current position information specified or estimated by the current position specifying unit 362 and the setup data 7, and an augmented reality image (AR: Augmented Reality image) of the setup part to be superimposed on the worker's field of view. ) And is displayed on the AR image display unit 32.

進捗管理部364は、時刻の計時機能を有し、現在時刻に基づいて計画データ8の各グループを進捗状況別に分類し、設営画像描画部363に通知する。   The progress management unit 364 has a time counting function, classifies each group of the plan data 8 according to the progress status based on the current time, and notifies the setup image drawing unit 363 of it.

次に、本実施の形態の設営アシストシステムによる設営アシスト動作について図4乃至8を参照して詳細に説明する。なお、図4に示す設営データ7と、図5に示す計画データ8とが設営プラン管理装置2によって作成されているものとして以下説明する。   Next, the setup assist operation by the setup assist system of the present embodiment will be described in detail with reference to FIGS. In the following description, it is assumed that the setup data 7 shown in FIG. 4 and the plan data 8 shown in FIG. 5 are created by the setup plan management apparatus 2.

まず、設営データ7における基準ポール1a〜1dのそれぞれ配置位置に、実際の基準ポール1a〜1dを会場Gにそれぞれ設置する。基準ポール1a〜1dのそれぞれ設置位置は、実測データ5内の既知点として機能する。基準ポール1a〜1dは、基体部11の中心軸が垂直になるように設置する。これにより、基準ポール1a〜1dをどの方向から見ても条件が同じになる。なお、基体部11の中心軸をできるだけ正確に垂直に設置した方が好ましいが、厳密な垂直でなくても一定の効果が得られることは言うまでもない。   First, the actual reference poles 1a to 1d are installed in the venue G at the arrangement positions of the reference poles 1a to 1d in the setting data 7, respectively. The installation positions of the reference poles 1 a to 1 d function as known points in the actual measurement data 5. The reference poles 1a to 1d are installed so that the central axis of the base portion 11 is vertical. Thereby, the conditions are the same no matter which direction the reference poles 1a to 1d are viewed. Although it is preferable to set the central axis of the base portion 11 as vertically as accurately as possible, it goes without saying that a certain effect can be obtained even if it is not strictly vertical.

次に、作業者は、メガネ型端末3を装着し、4本の基準ポール1a〜1dの内の少なくとも2本を視界に捉える。これにより、視界撮像部31によって、図6に示すように、4本の基準ポール1a〜1dの内の少なくとも2本が含まれる視界画像が撮像される。以下、図6に示すように、基準ポール1bと、基準ポール1dとが視界画像に含まれた例について説明する。   Next, the worker wears the glasses-type terminal 3 and catches at least two of the four reference poles 1a to 1d in the field of view. Thereby, as shown in FIG. 6, the visual field imaging unit 31 captures a visual field image including at least two of the four reference poles 1a to 1d. Hereinafter, an example in which the reference pole 1b and the reference pole 1d are included in the view field image as illustrated in FIG. 6 will be described.

視界画像内の基準ポール1bと、基準ポール1dとは、基準ポール検出部361によって検出される。基準ポール検出部361は、視界画像において、基準データ4の照合データと一致する識別部14を検索することで、基準ポール1bと、基準ポール1dとを区別して検出する。   The reference pole 1b and the reference pole 1d in the view field image are detected by the reference pole detector 361. The reference pole detection unit 361 searches for the identification unit 14 that matches the reference data 4 collation data in the field-of-view image, thereby distinguishing and detecting the reference pole 1b and the reference pole 1d.

現在位置特定部362は、基準ポール検出部361によって2本の基準ポール1bと、基準ポール1dとが検出されると、検出された基準ポール1bと、基準ポール1dとを用いて、実測データ5内におけるメガネ型端末3の現在位置及び姿勢を現在位置情報として特定する。   When the two reference poles 1b and the reference pole 1d are detected by the reference pole detection unit 361, the current position specifying unit 362 uses the detected reference pole 1b and the reference pole 1d to measure actual data 5 The current position and posture of the glasses-type terminal 3 are specified as current position information.

現在位置特定部362は、視界画像内の基準ポール1bの基体長Xbと、基準データ4の基準ポール1bの基体長Xとに基づいて、基準ポール1bとの距離Lbを算出すると共に、視界画像内の基準ポール1dの基体長Xdと、基準データ4の基準ポール1dの基体長Xとに基づいて、基準ポール1dとの距離Ldを算出する。これにより、図7に示すように、会場G(実測データ5)内におけるメガネ型端末3の現在位置が特定される。   The current position specifying unit 362 calculates a distance Lb from the reference pole 1b based on the base length Xb of the reference pole 1b in the view image and the base length X of the reference pole 1b in the reference data 4, and also displays the view image. Based on the base length Xd of the reference pole 1d and the base length X of the reference pole 1d in the reference data 4, the distance Ld to the reference pole 1d is calculated. Thereby, as shown in FIG. 7, the current position of the glasses-type terminal 3 in the venue G (actual measurement data 5) is specified.

また、現在位置特定部362は、基準ポール1bもしくは基準ポール1dの視界画像内の左右方向の位置に基づいて、メガネ型端末3が向いている方角を特定する。さらに、現在位置特定部362は、基準ポール1bもしくは基準ポール1dの視界画像内の上下方向の位置に基づいて、メガネ型端末3が向いている傾きを特定する。なお、現在位置特定部362は、加速度センサー37及び電子コンパス38の出力によって、メガネ型端末3が向いている姿勢を特定するようにしても良い。   In addition, the current position specifying unit 362 specifies the direction in which the glasses-type terminal 3 is facing based on the position in the left-right direction in the view image of the reference pole 1b or the reference pole 1d. Furthermore, the current position specifying unit 362 specifies the inclination of the glasses-type terminal 3 facing based on the vertical position in the view image of the reference pole 1b or the reference pole 1d. Note that the current position specifying unit 362 may specify the posture in which the glasses-type terminal 3 is facing based on the outputs of the acceleration sensor 37 and the electronic compass 38.

視界画像に4本の基準ポール1a〜1dの内の少なくとも2本が含まれている間、現在位置特定部362による現在位置情報の特定は、作業員の移動や視線の変化に応じて随時行われる。そして、視界画像に含まれる基準ポール1a〜1dが2本未満になると、また、現在位置特定部362は、加速度センサー37の出力と、電子コンパス38の出力とに基づいて、現在位置情報を追従して推定する。   While at least two of the four reference poles 1a to 1d are included in the field-of-view image, the current position information is specified by the current position specifying unit 362 as needed according to the movement of the worker or changes in the line of sight. Is called. When the number of reference poles 1a to 1d included in the view field image becomes less than two, the current position specifying unit 362 follows the current position information based on the output of the acceleration sensor 37 and the output of the electronic compass 38. And estimate.

設営画像描画部363は、現在位置特定部362によって特定もしくは推定された現在位置情報と、設営データ7とに基づいて、作業者の視界に重畳させる設営パーツの拡張現実画像(AR:Augmented Reality画像)を描画し、図8に示すように、AR画像表示部32に表示させる。図8では、白線であるNトラックの一部がAR画像としてAR画像表示部32に表示されている。   The setup image drawing unit 363 is based on the current position information specified or estimated by the current position specifying unit 362 and the setup data 7, and an augmented reality image (AR: Augmented Reality image) of the setup part to be superimposed on the worker's field of view. ) And is displayed on the AR image display unit 32 as shown in FIG. In FIG. 8, a part of the N track that is a white line is displayed on the AR image display unit 32 as an AR image.

また、設営画像描画部363は、操作部35によって、属性情報の表示指示を受け付けると、AR画像として表示されている設営パーツの近傍に属性情報を描画する。   In addition, when the operation unit 35 receives an instruction to display attribute information, the setup image drawing unit 363 draws the attribute information in the vicinity of the setup part displayed as the AR image.

拡張現実画像により、作業者は、設営パーツの設置位置や属性情報を簡単に把握することができる。例えば、トラックや通路の白線引きを行う場合、AR画像表示部32には作業者の視界に重畳して設営する白線のAR画像が表示される。従って、作業者は白線のAR画像に合わせてラインカーでラインを引くことができる。なお、ラインカーは通常前押しで使用されるが、その場合、振り返ると引いた白線と白線のAR画像が重なって見えるので、正しく引けたかどうか確認できる。また、テント、ゴミ箱、跳び箱、マット等の備品の設営についても、AR画像表示部32には作業者の視界に重畳して設営する備品のAR画像が表示され、作業者は備品のAR画像に合わせて実際の備品を設営することができる。   With the augmented reality image, the operator can easily grasp the installation position and attribute information of the installation parts. For example, when white lines are drawn for a track or a passage, the AR image display unit 32 displays a white line AR image that is superimposed on the worker's field of view. Therefore, the operator can draw a line with the line car in accordance with the AR image of the white line. Note that the line car is normally used with a forward push, but in that case, the white line drawn and the AR image of the white line appear to overlap when looking back, so it can be confirmed whether or not the line car has been drawn correctly. Also, regarding the installation of equipment such as tents, trash cans, jumping boxes, and mats, the AR image display unit 32 displays an AR image of the equipment to be installed superimposed on the worker's field of view. In combination, you can set up actual equipment.

作業者が会場Gを見回すと、設営パーツのAR画像と、実際の設営されている設営パーツとが重なって見える。従って、設営できていない設営パーツや設営の間違っている設営パーツは容易にチェックすることができる。   When the worker looks around the venue G, the AR image of the installed parts appears to overlap the actual installed parts. Therefore, it is possible to easily check a setup part that has not been setup or a setup part that has been setup incorrectly.

進捗管理部364は、時刻の計時機能を有している。進捗管理部364は、現在時刻に基づいて計画データ8の各グループを、「設営期間前」、「設営期間」、「設営期間終了〜撤収期間前」、「撤収期間」及び「撤収期間終了」の進捗状況別に分類し、設営画像描画部363に通知する。これにより、設営画像描画部363は、進捗状況に応じて設営パーツのAR画像を区別して描画することができる。設営画像描画部363は、例えば、設営パーツの色や、背景色、或いは設営パーツの周辺に進捗状況を示す文字や、丸、三角、バツ等のマークを表示することで設営パーツのAR画像を進捗状況に応じて区別する。これにより、作業者は、会場Gを見回すと設営の進捗状況がわかるので、余裕のある作業者は自主的に遅れている現場に加勢できる。   The progress management unit 364 has a time counting function. The progress management unit 364 assigns each group of the plan data 8 based on the current time to “before the setup period”, “the setup period”, “the end of the setup period to before the withdrawal period”, “the withdrawal period”, and “the withdrawal period ends”. Are classified according to their progress status and notified to the setup image drawing unit 363. Thereby, the setup image drawing unit 363 can draw the AR images of the setup parts in accordance with the progress status. The setup image drawing unit 363 displays an AR image of the setup part by displaying characters such as the color of the setup part, the background color, or characters indicating the progress status around the setup part, or a mark such as a circle, a triangle, or a cross. Distinguish according to progress. Thus, since the worker can see the progress of the setup when looking around the venue G, the worker who can afford can voluntarily be added to the site that is behind.

進捗管理部364は、「設営期間前」の設営パーツを描画停止に分類し、設営画像描画部363に指示するようにしても良い。これにより、「設営期間前」の設営パーツを描画が停止され、設営が必要な設営パーツのAR画像のみを重畳して表示することができ、プログラム進行に合った設営作業を効率的に行うことができる。例えば、午前のプログラムで使用する白線と重なるため、午後のプログラムで使用する白線が予め引けない場合、昼休みになった時点で、午後のプログラムで使用する白線のAR画像を点滅等で表示させ、作業者にプログラム進行に合った設営作業を促すことができる。   The progress management unit 364 may classify the installation parts “before the installation period” as drawing stop, and may instruct the installation image drawing unit 363. As a result, drawing of the installation parts "before the installation period" is stopped, and only the AR images of the installation parts that need to be installed can be superimposed and displayed, so that the installation work can be efficiently performed according to the program progress. Can do. For example, when the white line used in the afternoon program cannot be drawn in advance because it overlaps with the white line used in the morning program, the white line AR image used in the afternoon program is displayed by blinking at the time of lunch break. Workers can be encouraged to perform setup work that matches the program progress.

また、進捗管理部364は、操作部35によって、AR画像表示部32に表示された設営パーツの選択と、選択された設営パーツの現在状況の入力(例えば、計画通りに進捗、計画に遅れが出つつある、計画が遅れており増員が必要等の選択項目を選択入力)を受け付ける。この入力された現在状況は、複数のメガネ型端末3間で共有され(設営プラン管理装置2経由、あるいは、現在状況間のP2P通信)、現在状況を作業員に周知することができる。   In addition, the progress management unit 364 selects the installation parts displayed on the AR image display unit 32 by the operation unit 35 and inputs the current status of the selected installation parts (for example, the progress and the plan are delayed as planned). The selection item is selected, such as a plan that is coming out, the plan is delayed, and the number of employees needs to be increased. The input current status is shared among the plurality of glasses-type terminals 3 (via the configuration plan management device 2 or P2P communication between the current status), and the current status can be made known to the worker.

また、進捗管理部364は、操作部35によって、計画データ8における完了フラグの作業完了「1」への書き換えを受け付ける。そして、進捗管理部364は、完了フラグが作業完了「1」に書き換えられた設営パーツを描画停止に分類し、設営画像描画部363に指示する。これにより、完了フラグが作業完了「1」に書き換えられた設営パーツを描画が停止され、設営が必要な設営パーツのAR画像のみを重畳して表示することができ、設営作業を効率的に行うことができる。   In addition, the progress management unit 364 accepts the operation unit 35 to rewrite the completion flag in the plan data 8 to the work completion “1”. Then, the progress management unit 364 classifies the installed part whose completion flag is rewritten to work completion “1” as drawing stop, and instructs the installed image drawing unit 363 to perform the drawing stop. As a result, the drawing of the set part whose completion flag is rewritten to work completion “1” is stopped, and only the AR image of the set part that needs to be set can be displayed in a superimposed manner, so that the set work can be performed efficiently. be able to.

計画データ8には、設営作業と共に撤収作業のスケジュールが設定されている。従って、行事終了後の撤収時に、撤収すべき設営パーツを簡単に把握できる。この際、「撤収」を示す文字や記号を撤収する設営パーツをAR画像に重複表示すると良い。また、撤去に際してのガイド等の属性情報も表示させると良い。テント等の設備を分解した後の機材の集積場所、ゴミの集積場所、搬送トラックの発車時刻等を作業者に知らせることができる。   In the plan data 8, a schedule of withdrawal work is set together with the setup work. Therefore, it is possible to easily grasp the installed parts to be withdrawn at the time of withdrawal after the event. At this time, it is preferable to display the installation parts for removing the characters and symbols indicating “withdrawal” in the AR image. Moreover, it is good to display attribute information, such as a guide at the time of removal. The operator can be informed of the collection location of equipment after dismantling equipment such as tents, the location of garbage collection, the departure time of the transport truck, and the like.

なお、本実施の形態では、4本の基準ポール1a〜1dを設置するように構成したが、上述のように、基準ポールは2本以上であれば良く、会場Gに設置する基準ポールの本数は会場Gに応じて適宜設定すると良い。   In the present embodiment, the four reference poles 1a to 1d are installed. However, as described above, the number of reference poles may be two or more. May be appropriately set according to the venue G.

本実施の形態では、基準ポール1a〜1dのそれぞれ設置位置を、実測データ5内の既知点としている。従って、基準ポール1a〜1dを設営データ7の通りに正確に設置しなければならない。しかし、基準ポール1a〜1dの設置位置をそれぞれ正確に測定することは手間のかかる作業となる。   In the present embodiment, the installation positions of the reference poles 1 a to 1 d are set as known points in the actual measurement data 5. Therefore, the reference poles 1a to 1d must be accurately installed according to the setting data 7. However, accurately measuring the installation positions of the reference poles 1a to 1d is a laborious operation.

そこで、現在位置情報に基づいて実測データ5の輪郭、すなわち会場Gの輪郭をAR画像として描画する機能を設営画像描画部363に備えることで、設置位置を正確に測定することなく、基準ポール1a〜1dを設営データ7の通りに正確に設置することが可能になる。以下に、その手順を示す。   Therefore, the setup image drawing unit 363 has a function of drawing the outline of the actual measurement data 5 based on the current position information, that is, the outline of the venue G as an AR image, so that the reference pole 1a can be measured without accurately measuring the installation position. ˜1d can be accurately installed according to the configuration data 7. The procedure is shown below.

まず、作業者は、基準ポール1a〜1dの内の2本、例えば、基準ポール1a、1bを設営データ7の設定位置に目測でそれぞれ設置する。次に、作業者は、メガネ型端末3を装着し、2本の基準ポール1a、1bを視界に捉える。これにより、現在位置特定部362は、基準ポール1a、1bが正確に設置されているとした仮の現在位置情報を特定する。   First, the operator visually installs two of the reference poles 1a to 1d, for example, the reference poles 1a and 1b at the set positions of the installation data 7, respectively. Next, the worker wears the glasses-type terminal 3 and catches the two reference poles 1a and 1b in the field of view. Thereby, the current position specifying unit 362 specifies provisional current position information that the reference poles 1a and 1b are correctly installed.

次に、設営画像描画部363は、仮の現在位置情報に基づいて実測データ5の輪郭を描画してAR画像表示部32に表示させる。   Next, the setup image drawing unit 363 draws the outline of the actual measurement data 5 based on the provisional current position information and displays it on the AR image display unit 32.

これにより、作業者は、会場Gの輪郭のAR画像と、実際の会場Gの輪郭とのズレを認識することができる。そして、両者が一致するように、基準ポール1a、1bの設置位置を調整することで、基準ポール1a、1bは設営データ7の通りに正確に設置される。   Thereby, the operator can recognize the deviation between the AR image of the outline of the hall G and the actual outline of the hall G. Then, the reference poles 1a and 1b are accurately installed according to the installation data 7 by adjusting the installation positions of the reference poles 1a and 1b so that they match.

他の2本の基準ポール1c、1dについては、基準ポール1a、1bを用いることで正確な現在地情報が特定されるため、設営画像描画部363によって描画させた基準ポール1c、1dのAR画像を用いて設置することができる。   For the other two reference poles 1c and 1d, accurate current location information is specified by using the reference poles 1a and 1b. Therefore, the AR images of the reference poles 1c and 1d drawn by the installation image drawing unit 363 are used. Can be installed using.

さらに、本実施の形態では、メガネ型端末3に端末記憶部34と、基準ポール検出部361、基準ポール検出部361、現在位置特定部362、設営画像描画部363及び進捗管理部364とを設けた例について説明したが、これらの構成の全部もしくは一部を、メガネ型端末3と通信可能な設営プラン管理装置2やネットワーク上に設けるようにしても良い。   Further, in the present embodiment, the glasses-type terminal 3 is provided with a terminal storage unit 34, a reference pole detection unit 361, a reference pole detection unit 361, a current position specifying unit 362, a setup image drawing unit 363, and a progress management unit 364. However, all or part of these configurations may be provided on the configuration plan management apparatus 2 or the network that can communicate with the glasses-type terminal 3.

以上説明したように、本実施の形態によれば、会場Gに設営パーツを設営する作業者を、作業者の前方視界を撮像する視界撮像部31と、作業者の前方視界に重畳されて表示されるAR画像表示部32とを備えたメガネ型端末3を用いてアシストする設営アシストシステムであって、既知長の基体部11を有し、会場Gの複数の既知点にそれぞれ設置された複数の基準ポール1a〜1dと、会場Gの実測データ5に基準ポール1a〜1d及び設営パーツが配置された設営データ7を記憶する端末記憶部34と、視界撮像部31によって撮像された視界画像内の基準ポール1a〜1dを検出する基準ポール検出部361と、基準ポール検出部361によって複数の基準ポール1a〜1d内の2本以上が検出されると、視界画像内の基準ポール1a〜1dの大きさ及び位置に基づいて、実測データ5内におけるメガネ型端末3の現在位置及び姿勢を現在位置情報として特定する現在位置特定部362と、現在位置情報に基づく設営パーツのAR画像を描画してAR画像表示部32に表示させる設営画像描画部363と、を備えている。
この構成により、作業者の視界に会場Gに設営すべき設営パーツのAR画像を重畳させて表示することができるため、作業者はAR画像を見ながら設営作業を行うことができ、会場の設営を行う作業者を効率的にアシストすることができる。
As described above, according to the present embodiment, the worker who sets up the installation parts in the venue G is displayed superimposed on the field-of-view imaging unit 31 that images the worker's front field of view and the worker's front field of view. A system assisting system that assists using a glasses-type terminal 3 provided with an AR image display unit 32, and has a base 11 having a known length, and is installed at a plurality of known points in the venue G. The reference poles 1a to 1d, the terminal storage unit 34 for storing the setup data 7 in which the reference poles 1a to 1d and the installation parts are arranged in the actual measurement data 5 of the venue G, and the view image captured by the view image pickup unit 31 When the reference pole detector 361 for detecting the reference poles 1a to 1d and two or more of the plurality of reference poles 1a to 1d are detected by the reference pole detector 361, the reference pole 1 in the view image Based on the size and position of ˜1d, a current position specifying unit 362 that specifies the current position and posture of the glasses-type terminal 3 in the actual measurement data 5 as current position information, and an AR image of the installed part based on the current position information A setup image drawing unit 363 for drawing and displaying on the AR image display unit 32.
With this configuration, it is possible to superimpose and display the AR image of the installation parts to be installed at the venue G in the field of view of the operator, so that the operator can perform the installation work while viewing the AR image. It is possible to efficiently assist the worker who performs the operation.

さらに、本実施の形態によれば、メガネ型端末3は、現在位置特定部362によって現在位置情報して特定された現在位置からの移動距離及び移動方向を検出する移動検出部として機能する加速度センサー37及び電子コンパス38を具備し、現在位置特定部362は、基準ポール検出部361によって複数の基準ポール1a〜1d内の2本以上が検出されない場合、移動検出部による検出結果に基づいて現在位置情報を推定する。
この構成により、基準ポール1a〜1d内の2本以上が見えない場合も現在位置情報を追従して推定することができ、設営パーツのAR画像を描画できる。そして、次に基準ポール1a〜1d内の2本以上が見えるようになった時に、基準ポール1a〜1dを用いて正確な現在位置情報を特定し直すことができる。
Further, according to the present embodiment, the glasses-type terminal 3 is an acceleration sensor that functions as a movement detection unit that detects a movement distance and a movement direction from the current position specified by the current position information by the current position specifying unit 362. 37 and the electronic compass 38, the current position specifying unit 362 is configured to detect the current position based on the detection result of the movement detecting unit when two or more of the plurality of reference poles 1a to 1d are not detected by the reference pole detecting unit 361. Estimate information.
With this configuration, even when two or more of the reference poles 1a to 1d are not visible, the current position information can be estimated by following the drawing, and an AR image of the installed part can be drawn. Then, when two or more of the reference poles 1a to 1d become visible next, accurate current position information can be specified again using the reference poles 1a to 1d.

さらに、本実施の形態によれば、設営パーツの設営スケジュールが設定された計画データ8を記憶する端末記憶部34と、計画データ8の設営スケジュールに基づいて設営パーツを進捗状況別に分類する進捗管理部364と、を具備し、設営画像描画部363は、進捗管理部364による分類ごとに設営パーツを区別して描画する。
この構成により、作業者は、設営スケジュールを簡単に把握することができ、設営スケジュールに従って設営作業を行うことができる。また、作業者は、会場Gを見回すと設営の進捗状況がわかるので、余裕のある作業者は自主的に遅れている現場に加勢できる。
Furthermore, according to this embodiment, the terminal storage unit 34 that stores the plan data 8 in which the setup schedule of the setup parts is set, and the progress management that classifies the setup parts according to the progress status based on the setup schedule of the plan data 8 A setup image drawing unit 363 that distinguishes and draws setup parts for each classification by the progress management unit 364.
With this configuration, the worker can easily grasp the setup schedule and can perform the setup work according to the setup schedule. In addition, since the worker can see the progress of the setup as he looks around the venue G, a worker who can afford can voluntarily be added to the site that is behind.

さらに、本実施の形態によれば、計画データ8には、作業が完了したか否かを示す完了フラグが設定されており、進捗管理部364は、計画データにおいて完了フラグが作業完了に書き換えられた設営パーツを設営画像描画部363による描画を停止させる描画停止に分類する。
この構成により、完了フラグが作業完了「1」に書き換えられた設営パーツを描画が停止され、設営が必要な設営パーツのAR画像のみを重畳して表示することができ、設営作業を効率的に行うことができる。
Furthermore, according to the present embodiment, a completion flag indicating whether or not the work has been completed is set in the plan data 8, and the progress management unit 364 rewrites the completion flag to the work completion in the plan data. The installed parts are classified into drawing stops for stopping drawing by the setting image drawing unit 363.
With this configuration, drawing of the set part whose completion flag is rewritten to work completion “1” is stopped, and only the AR image of the set part that needs to be set can be superimposed and displayed. It can be carried out.

さらに、本実施の形態によれば、進捗管理部364は、計画データにおいて設営期間前の設営パーツを設営画像描画部363による描画を停止させる描画停止に分類する。
この構成により、「設営期間前」の設営パーツを描画が停止され、設営が必要な設営パーツのAR画像のみを重畳して表示することができ、プログラム進行に合った設営作業を効率的に行うことができる。
Furthermore, according to the present embodiment, the progress management unit 364 classifies the setup parts before the setup period in the plan data as drawing stops for stopping drawing by the setup image drawing unit 363.
With this configuration, drawing of installation parts “before the installation period” is stopped, and only the AR images of the installation parts that need to be installed can be superimposed and displayed, so that the installation work can be efficiently performed in accordance with the progress of the program. be able to.

さらに、本実施の形態によれば、設営画像描画部363は、現在位置情報に基づく会場Gの輪郭のAR画像を描画してAR画像表示部32に表示させる。
この構成により、設置位置を正確に測定することなく、基準ポール1a〜1dを設営データ7の通りに正確に設置することが可能になる。
Furthermore, according to the present embodiment, the setup image drawing unit 363 draws the AR image of the outline of the venue G based on the current position information and causes the AR image display unit 32 to display the AR image.
With this configuration, the reference poles 1a to 1d can be accurately installed according to the installation data 7 without accurately measuring the installation position.

なお、本発明が上記各実施の形態に限定されず、本発明の技術思想の範囲内において、各実施の形態は適宜変更され得ることは明らかである。   Note that the present invention is not limited to the above-described embodiments, and it is obvious that the embodiments can be appropriately changed within the scope of the technical idea of the present invention.

1a〜1d 基準ポール
2 設営プラン管理装置
3 メガネ型端末
4 基準データ
5 実測データ
6 パーツデータ
7 設営データ
8 計画データ
11 基体部
12 足部
13 計測基準部
14 識別部
21 本体表示部
22 本体入力部
23 本体記憶部
24 本体通信部
25 本体制御部
31 視界撮像部
32 AR画像表示部
33 端末通信部
34 端末記憶部
35 操作部
36 端末制御部
37 加速度センサー
38 電子コンパス
251 設営データ生成部
252 計画データ生成部
361 基準ポール検出部
362 現在位置特定部
363 設営画像描画部
364 進捗管理部
1a to 1d Reference pole 2 Setting plan management device 3 Glasses type terminal 4 Reference data 5 Actual measurement data 6 Parts data 7 Setting data 8 Plan data 11 Base portion 12 Foot portion 13 Measurement reference portion 14 Identification portion 21 Body display portion 22 Body input portion 23 main body storage unit 24 main body communication unit 25 main body control unit 31 visual field imaging unit 32 AR image display unit 33 terminal communication unit 34 terminal storage unit 35 operation unit 36 terminal control unit 37 acceleration sensor 38 electronic compass 251 installation data generation unit 252 plan data Generation unit 361 Reference pole detection unit 362 Current position specifying unit 363 Installation image drawing unit 364 Progress management unit

Claims (6)

会場に設営パーツを設営する作業者を、前記作業者の前方視界を撮像する視界撮像部と、前記作業者の前方視界に重畳されて表示される画像表示部とを備えたメガネ型端末を用いてアシストする設営アシストシステムであって、
既知長の基体部を有し、前記会場の複数の既知点にそれぞれ設置された複数の基準ポールと、
前記会場の実測データに前記基準ポール及び前記設営パーツが配置された設営データを記憶する設営データ記憶部と、
前記視界撮像部によって撮像された視界画像内の前記基準ポールを検出する基準ポール検出部と、
前記基準ポール検出部によって複数の前記基準ポールが検出されると、視界画像内の前記基準ポールの大きさ及び位置に基づいて、前記実測データ内における前記メガネ型端末の現在位置及び姿勢を現在位置情報として特定する現在位置特定部と、
前記現在位置情報に基づく前記設営パーツの拡張現実画像を描画して前記画像表示部に表示させる設営画像描画部と、を具備することを特微とする設営アシストシステム。
Using an eyeglass-type terminal provided with a field imaging unit that images a worker's front field of view and an image display unit that is displayed superimposed on the worker's front field. A configuration assist system that assists
A plurality of reference poles each having a known-length base portion and installed at a plurality of known points in the venue,
A setup data storage unit for storing setup data in which the reference pole and the setup parts are arranged in the actual measurement data of the venue;
A reference pole detection unit that detects the reference pole in the field-of-view image captured by the field-of-view imaging unit;
When a plurality of the reference poles are detected by the reference pole detection unit, the current position and posture of the glasses-type terminal in the actual measurement data are determined based on the size and position of the reference pole in the field-of-view image. A current position specifying part specified as information,
A setup image drawing unit that draws an augmented reality image of the setup part based on the current position information and displays the augmented reality image on the image display unit.
前記メガネ型端末は、前記現在位置特定部によって前記現在位置情報して特定された前記現在位置からの移動距離及び移動方向を検出する移動検出部を具備し、
前記現在位置特定部は、前記基準ポール検出部によって複数の前記基準ポールが検出されない場合、前記移動検出部による検出結果に基づいて前記現在位置情報を推定することを特微とする請求項1記載の設営アシストシステム。
The glasses-type terminal includes a movement detection unit that detects a movement distance and a movement direction from the current position specified by the current position information by the current position specifying unit,
The current position specifying unit estimates the current position information based on a detection result by the movement detection unit when a plurality of the reference poles are not detected by the reference pole detection unit. Set-up assistance system.
前記設営パーツの設営スケジュールが設定された計画データを記憶する計画データ記憶部と、
前記計画データの設営スケジュールに基づいて前記設営パーツを進捗状況別に分類する進捗管理部と、を具備し、
前記設営画像描画部は、前記進捗管理部による分類ごとに前記設営パーツを区別して描画することを特微とする請求項1又は2記載の設営アシストシステム。
A plan data storage unit for storing plan data in which a setup schedule of the setup parts is set;
A progress management unit that classifies the set-up parts according to progress based on the set-up schedule of the plan data; and
3. The setup assist system according to claim 1, wherein the setup image drawing unit draws the setup parts separately for each classification by the progress management unit.
前記計画データには、作業が完了したか否かを示す完了フラグが設定されており、
前記進捗管理部は、前記計画データにおいて前記完了フラグが作業完了に書き換えられた前記設営パーツを前記設営画像描画部による描画を停止させる描画停止に分類することを特微とする請求項3記載の設営アシストシステム。
In the plan data, a completion flag indicating whether or not the work is completed is set,
The said progress management part classifies the said installation parts in which the said completion flag was rewritten to the completion of work in the said plan data into the drawing stop which stops drawing by the said installation image drawing part, It is characterized by the above-mentioned. Setup assist system.
前記進捗管理部は、前記計画データにおいて設営期間前の前記設営パーツを前記設営画像描画部による描画を停止させる描画停止に分類することを特微とする請求項3又は4記載の設営アシストシステム。   5. The installation assistance system according to claim 3, wherein the progress management unit classifies the installation part before the installation period in the plan data into a drawing stop for stopping drawing by the installation image drawing unit. 前記設営画像描画部は、前記現在位置情報に基づく前記会場の輪郭の拡張現実画像を描画して前記画像表示部に表示させることを特微とする請求項1乃至5のいずれかに記載の設営アシストシステム。   6. The setup according to claim 1, wherein the setup image drawing unit draws an augmented reality image of the outline of the venue based on the current position information and displays the image on the image display unit. Assist system.
JP2016250919A 2016-12-26 2016-12-26 Setup assisting system Pending JP2018106358A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016250919A JP2018106358A (en) 2016-12-26 2016-12-26 Setup assisting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016250919A JP2018106358A (en) 2016-12-26 2016-12-26 Setup assisting system

Publications (1)

Publication Number Publication Date
JP2018106358A true JP2018106358A (en) 2018-07-05

Family

ID=62787785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016250919A Pending JP2018106358A (en) 2016-12-26 2016-12-26 Setup assisting system

Country Status (1)

Country Link
JP (1) JP2018106358A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020019129A (en) * 2018-07-30 2020-02-06 サクラインターナショナル株式会社 Marking line drawing work method with use of mr (mixed reality) field of view

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020019129A (en) * 2018-07-30 2020-02-06 サクラインターナショナル株式会社 Marking line drawing work method with use of mr (mixed reality) field of view

Similar Documents

Publication Publication Date Title
JP6016268B2 (en) Field work support device, method and program
JP5762892B2 (en) Information display system, information display method, and information display program
JP6741009B2 (en) Monitoring information generation device, shooting direction estimation device, monitoring information generation method, shooting direction estimation method, and program
US8126209B2 (en) Road image analyzing apparatus and road image analyzing method
US20180005446A1 (en) Pick to Augmented Reality
GB2516172A (en) A tracking assistance device, a tracking assistance system and a tracking assistance method
US10638115B2 (en) Calibration device
US20150269759A1 (en) Image processing apparatus, image processing system, and image processing method
JP5456175B2 (en) Video surveillance device
CN113066195A (en) Power equipment inspection method and device, AR glasses and storage medium
JP2021536649A (en) How to Build a Video Surveillance System for Target Detection and Tracking
JP2016224919A (en) Data browsing device, data browsing method, and program
CN102970514A (en) Apparatus, method, and program for video surveillance system
CN111222190A (en) Ancient building management system
JP2015138333A (en) Display control program, display control apparatus, and display control system
JP6041535B2 (en) Image acquisition method and photographing apparatus
JP7359621B2 (en) Area setting support device, area setting support method, and area setting support program
CN112396997B (en) Intelligent interactive system for shadow sand table
JP2018106358A (en) Setup assisting system
JP2019163172A (en) System, information processor, information processing method, program and storage medium
JP6597702B2 (en) Setup assist system
JP2019096062A (en) Object tracking device, object tracking method, and object tracking program
KR101015236B1 (en) Measurement system using vehicle-based multi sensor and the using method thereof
JP7266422B2 (en) Gaze behavior survey system and control program
JP2014146181A (en) Operation information recording device, display system, and program