JP2019160290A - 生成装置、生成方法及び生成プログラム - Google Patents

生成装置、生成方法及び生成プログラム Download PDF

Info

Publication number
JP2019160290A
JP2019160290A JP2018236718A JP2018236718A JP2019160290A JP 2019160290 A JP2019160290 A JP 2019160290A JP 2018236718 A JP2018236718 A JP 2018236718A JP 2018236718 A JP2018236718 A JP 2018236718A JP 2019160290 A JP2019160290 A JP 2019160290A
Authority
JP
Japan
Prior art keywords
unit
image
generation
content
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018236718A
Other languages
English (en)
Other versions
JP6670918B2 (ja
Inventor
秉哲 ▲裴▼
秉哲 ▲裴▼
Byung-Chull Bae
翔太 斎藤
Shota Saito
翔太 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of JP2019160290A publication Critical patent/JP2019160290A/ja
Application granted granted Critical
Publication of JP6670918B2 publication Critical patent/JP6670918B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ARコンテンツを容易に作成する。【解決手段】表示制御部152は、機器の画像及びオブジェクトの一覧を表示部13に表示させる。受付部153は、表示部13に表示されたオブジェクトの一覧から選択したオブジェクトを、表示部13に表示された画像上に配置する操作を受け付ける。生成部154は、機器の画像を基に生成されたマーカ、及び受付部153によって受け付けられたオブジェクトの配置に基づいて、機器に関する所定の手順を表示するARコンテンツを生成する。【選択図】図2

Description

本発明は、生成装置、生成方法及び生成プログラムに関する。
AR(拡張現実:Augmented Reality)とは、コンピュータ等で情報を付加することで、人が知覚している現実環境を拡張する技術である。例えば、ARによれば、現実環境を撮影した画像に、所定のオブジェクトを重畳表示させることが可能になる。
昨今、ARを利用した種々のコンテンツ(ARコンテンツ)が知られている。例えば、操作対象の機器の画像に、操作方法が記載されたアノテーションを重畳表示させた操作マニュアルが知られている。また、現在地周辺の地図上に、目的地までの経路を表示させるナビゲーションマップが知られている。
特開2017−97856号公報 特開2016−85615号公報
しかしながら、従来の技術では、ARコンテンツの作成が困難な場合があるという問題がある。例えば、ARコンテンツを作成するためには、高度な知識やプログラミングスキルが要求される場合がある。そのため、高度な知識を持たない者や、プログラミングの初心者にとっては、ARコンテンツの作成が困難な場合がある。
実施形態の生成装置は、表示制御部と、受付部と、生成部とを有する。表示制御部は、機器の画像及びオブジェクトの一覧を表示部に表示させる。受付部は、表示部に表示されたオブジェクトの一覧から選択したオブジェクトを、表示部に表示された画像上に配置する操作を受け付ける。生成部は、機器の画像を基に生成されたマーカ、及び受付部によって受け付けられたオブジェクトの配置に基づいて、機器に関する所定の手順を表示するARコンテンツを生成する。
実施形態の生成装置は、受付部と、抽出部と、計算部と、生成部とを有する。受付部は、表示部に表示された機器の画像の一部の領域を指定する操作を受け付ける。抽出部は、領域の画像から特徴点を抽出する。計算部は、抽出部によって抽出された特徴点の数及び位置を基に、領域の画像のARコンテンツにおけるマーカとしての適性の度合いを計算する。生成部は、領域の画像から生成されたマーカに基づいて、機器に関する所定の手順を表示するARコンテンツを生成する。
図1は、第1の実施形態に係る提供システムの概要について説明するための図である。 図2は、第1の実施形態に係る生成装置の構成の一例を示す図である。 図3は、第1の実施形態に係る生成装置のメインメニュー画面の一例を示す図である。 図4は、第1の実施形態に係る生成装置のARマニュアル作成画面の一例を示す図である。 図5は、第1の実施形態に係る生成装置のARマニュアル作成画面の一例を示す図である。 図6は、第1の実施形態に係る生成装置のARマニュアル作成画面の一例を示す図である。 図7は、第1の実施形態に係る端末装置の構成の一例を示す図である。 図8は、第1の実施形態に係る端末装置に表示されるARコンテンツの一例を示す図である。 図9は、第1の実施形態に係る生成装置のARナビゲーション作成画面の一例を示す図である。 図10は、第1の実施形態に係る生成装置のARマニュアルを作成する処理の流れを示すフローチャートである。 図11は、第1の実施形態に係る端末装置のARマニュアルを表示する処理の流れを示すフローチャートである。 図12は、第1の実施形態に係る生成装置のARナビゲーションを作成する処理の流れを示すフローチャートである。 図13は、第1の実施形態に係る端末装置のARナビゲーションを表示する処理の流れを示すフローチャートである。 図14は、第2の実施形態に係る生成装置の構成の一例を示す図である。 図15は、第2の実施形態に係る生成装置のARマニュアル作成画面の一例を示す図である。 図16は、第2の実施形態に係る生成装置のマーカ強度判定結果画面の一例を示す図である。 図17は、第2の実施形態に係る生成装置のマーカ強度について説明するための図である。 図18は、第2の実施形態に係る生成装置の評価処理の流れを示すフローチャートである。
以下に、本願に係る生成装置、生成方法及び生成プログラムの実施形態を図面に基づいて詳細に説明する。なお、本発明は、以下に説明する実施形態により限定されるものではない。
(第1の実施形態)
まず、図1を用いて、第1の実施形態の生成装置を含む提供システムの概要について説明する。図1は、第1の実施形態に係る提供システムの概要について説明するための図である。図1に示すように、提供システム1は、生成装置10及び端末装置20を有する。なお、提供システム1は、ユーザにARコンテンツを提供するシステムである。
生成装置10は、ARコンテンツを生成する。生成装置10は、ARコンテンツを開発するユーザによって操作される。例えば、生成装置10は、パーソナルコンピュータ、タブレット端末、スマートフォン等である。
端末装置20は、ARコンテンツを表示する。端末装置20は、提供システム1によるARコンテンツの提供を受けるユーザによって操作される。例えば、端末装置20は、パーソナルコンピュータ、タブレット端末、スマートフォン、デジタルカメラ等である。
提供システム1によって提供されるARコンテンツには、例えば、ARマニュアル及びARナビゲーションがある。ARマニュアルは、操作対象の機器等の画像に、操作方法等を示すアノテーションやオブジェクト等を重畳表示するコンテンツである。また、ARナビゲーションは、地図上に、目的地までの経路を表示するコンテンツである。
例えば、ARマニュアル及びARナビゲーションは、プラント等の施設の保守及び点検に用いられる。その場合、保守及び点検を行う作業者は、端末装置20に表示されるARコンテンツを参照することで、機器の操作方法や点検対象の機器への移動経路を確認することができる。
図1に示すように、生成装置10は、ARコンテンツを生成する。生成装置10は、ユーザが直感的に操作可能なGUI(Graphical User Interface)を画面に表示し、当該GUIを介してARコンテンツの作成に関するユーザの操作を受け付ける。生成装置10のGUIは、マウス、キーボード及びタッチパネル等を介した操作を受け付ける。
生成装置10のGUIは、マウスを介したクリック及びドラッグアンドドロップ等の操作を受け付けることができる。また、生成装置10のGUIは、キーボードを介した文字及びコマンドの入力を受け付けることができる。また、生成装置10のGUIは、タッチパネルを介したタップ、スワイプ、ピンチイン及びピンチアウト等の操作を受け付けることができる。
生成装置10は、GUIを介して行われた操作に基づいてARコンテンツを生成する。ここで、ARコンテンツには、所定の画像に重畳して表示される2D又は3Dのアイコン、アノテーション、静止画及び動画といったオブジェクトが含まれる。また、ARコンテンツには、オブジェクトの表示を開始する際の判定に使用されるマーカが含まれる。生成装置10によって生成されてARコンテンツは、端末装置20に送信される。このように、提供システム1によれば、GUIを介した直感的な操作によりARコンテンツの提供を行うことができる。
図1に示すように、端末装置20は、取得したARコンテンツをユーザに提供する。その際、まず、端末装置20は、カメラ機能を使って機器等の画像を撮影する。そして、端末装置20は、撮影している画像内に、ARコンテンツのマーカと特徴が一致する画像が含まれていることを検出した場合、オブジェクトの表示を開始する。
端末装置20は、撮影中の機器等の画像にオブジェクトを重畳表示することができるため、端末装置20のユーザには、知覚している現実環境が拡張されたような感覚が生じる。
(第1の実施形態の生成装置の構成)
図2を用いて、生成装置10の構成について説明する。図2は、第1の実施形態に係る生成装置の構成の一例を示す図である。図2に示すように、生成装置10は、通信部11、入力部12、表示部13、記憶部14及び制御部15を有する。
通信部11は、ネットワークを介して、他の装置との間で有線又は無線によるデータ通信を行う。例えば、通信部11はNIC(Network Interface Card)である。入力部12は、ユーザからのデータの入力を受け付ける。入力部12は、例えば、マウスやキーボード等の入力装置である。また、表示部13は、画面の表示を行うディスプレイ等の表示装置である。なお、入力部12及び表示部13は、タッチパネルディスプレイであってもよい。
記憶部14は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク、RAM(Random Access Memory)、フラッシュメモリ、NVSRAM(Non Volatile Static Random Access Memory)等の記憶装置である。記憶部14は、生成装置10で実行されるOS(Operating System)やプログラムを記憶する。さらに、記憶部14は、プログラムの実行で用いられる各種情報を記憶する。また、記憶部14は、オブジェクト情報141及び背景画像情報142を記憶する。
オブジェクト情報141は、ARコンテンツとして表示されるオブジェクトに関する情報である。例えば、オブジェクト情報141は、ARマニュアルにアイコンとして表示される2Dの画像、及び3DCAD(Computer Aided Design)データ等である。また、オブジェクト情報141は、静止画や動画であってもよい。また、背景画像情報142は、ユーザがARコンテンツを作成する際に表示される背景画像を記憶する。背景画像情報142は、例えば、機器の画像、及び地図の画像等である。
制御部15は、生成装置10を制御する。制御部15は、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等である。例えば、制御部15は、格納部151、表示制御部152、受付部153及び生成部154として機能する。
格納部151は、記憶部14にデータを格納する。格納部151は、ユーザによって入力された画像又は3DCADデータをオブジェクト情報141又はオブジェクト情報141として記憶部14に格納する。
格納部151は、ARマニュアルを作成するユーザによって入力された機器の画像を背景画像情報142として記憶部14に格納する。また、格納部151は、ARナビゲーションを作成するユーザによって入力された地図の画像を背景画像情報142として記憶部14に格納する。
表示制御部152は、表示部13の表示制御を行う。ユーザがARコンテンツを作成する場合、まず、生成装置10はユーザのログイン処理を行う。ユーザのログイン処理が行われると、表示制御部152は、表示部13にメインメニューを表示させる。図3は、第1の実施形態に係る生成装置のメインメニュー画面の一例を示す図である。
図3に示すように、メインメニューには、日時、ログインしたユーザのアカウントID、ユーザ名が表示される。また、メインメニューのログアウトボタンが押下されると、ユーザのログアウト処理が行われる。なお、以降の説明で、「押下」とは、画面上のボタン及びアイコン等をクリック又はタップする操作を指すものとする。
また、メインメニューには、ナビリスト、マニュアルリスト、ワークフローリスト、データ管理、データ取得といったアイコンが表示される。マニュアルリストのアイコンが押下されると、生成装置10はARマニュアルの作成処理を開始する。また、ナビリストのアイコンが押下されると、生成装置10はARナビゲーションの作成処理を開始する。
受付部153は、ユーザによる操作を受け付ける。生成部154は、ARコンテンツを生成する。以降、表示制御部152、受付部153及び生成部154の具体的な処理例について、図4から6を用いて説明する。図4から6は、第1の実施形態に係る生成装置のARマニュアル作成画面の一例を示す図である。
図4は、STEP.1のマニュアルを作成するための画面を示している。図4に示すように、表示制御部152は、表示部13にARマニュアル作成画面を表示させる。表示制御部152は、ARマニュアル作成画面に、日時、戻るボタン、保存ボタン、次へボタンを表示させる。また、表示制御部152は、「STEP.1」の部分を網掛け表示にすることで、STEP.1のマニュアルを作成中であることを示している。
表示制御部152は、機器の画像及びオブジェクトの一覧を表示部13に表示させる。図4の例では、表示制御部152は、リスト51をオブジェクトの一覧として表示させている。例えば、リスト51は、2Dアイコンを一覧表示する。さらに、リスト51は、3Dアイコンの一覧、格納部151によって格納された画像及び動画の一覧、テキストボックスの一覧等を表示することができる。
また、表示制御部152は、マーカ領域52を表示させる。生成装置10は、機器の画像のうち、マーカ領域52に含まれる部分をARコンテンツのマーカとして使用することができる。
また、表示制御部152は、オブジェクトの位置、サイズ及び向きを設定するためのオブジェクト設定ウィンドウ53、動画を再生するための動画再生ウィンドウ54及び報告書に関する設定を行うための報告書設定ウィンドウ55を表示させる。また、表示制御部152は、音声を追加ボタンが押下されると、音声を追加するためのウィンドウを表示させる。
受付部153は、表示部13に表示されたオブジェクトの一覧から選択したオブジェクトを、表示部13に表示された画像上に配置する操作を受け付ける。例えば、図4の例では、受付部153は、矢印のアイコンをリスト51から選択し、当該矢印のアイコンを機器の画像上に配置する操作を受け付けている。このとき、表示制御部152は、配置された位置にアイコンを表示させる。
生成部154は、機器の画像を基に生成されたマーカ、及び受付部153によって受け付けられたオブジェクトの配置に基づいて、機器に関する所定の手順を表示するARコンテンツを生成する。このとき、生成部154は、マーカ領域52の画像を基に生成されたマーカに基づいてARコンテンツを生成する。
また、生成部154は、機器に関する複数の手順のそれぞれについてARコンテンツを生成し、ARコンテンツのそれぞれに対して1つのマーカを設定する。例えば、生成部154は、STEP.1から3のそれぞれに対応したARコンテンツを生成する場合、各ARコンテンツに対して1つずつマーカを設定する。
図5は、STEP.2のマニュアルを作成するための画面を示している。例えば、リスト51においては矢印のアイコンは左向きに表示されているのに対し、図5の例では、矢印のアイコンが下向きに表示されている。これは、受付部153が、オブジェクト設定ウィンドウ53を介して矢印のアイコンの向きを変更する操作を受け付けることによって実現される。このように、受付部153は、オブジェクトのサイズ及び向きを指定する操作をさらに受け付ける。
また、受付部153は、表示部13に表示された機器の画像の一部の領域を指定する操作をさらに受け付ける。受付部153は、マウスのドラッグ操作によるマーカ領域52の指定を受け付ける。また、受付部153は、オブジェクト設定ウィンドウ53への入力を介してマーカ領域52の指定を受け付けてもよい。
また、受付部153は、所定の手順の完了後に報告書を生成するか否かを指定する操作をさらに受け付ける。受付部153は、報告書設定ウィンドウ55のチェックボックスへの入力を介して報告書を生成するか否かの指定を受け付ける。生成部154は、受付部153によって、報告書を生成することを指定する操作が受け付けられた場合、すなわち、メモチェックボックスがチェックされている場合、ARコンテンツに、所定の手順の完了後に報告書を作成する処理を追加する。
また、受付部153は、所定の手順の完了後に写真を含む報告書を生成するか否かを指定する操作をさらに受け付ける。受付部153は、報告書設定ウィンドウ55のチェックボックスへの入力を介して報告書を生成するか否かの指定を受け付ける。生成部154は、受付部153によって、写真を含む報告書を生成することを指定する操作が受け付けられた場合、すなわち、写真チェックボックスがチェックされている場合、ARコンテンツに、所定の手順の完了後に写真を撮影する処理を追加する。
また、受付部153は、テキストによるアノテーションを設定する操作を受け付ける。図5の例では、矢印のアイコンに付随して、「点灯を確認」というテキストによるアノテーションが設定されている。
図6は、STEP.3のマニュアルを作成するための画面を示している。図6に示すように、リスト51には、3Dのアイコンが含まれる。また、表示制御部152は、オブジェクトのうち、ARコンテンツとして表示された際に動くオブジェクトが画像上に配置されている場合、当該配置されたオブジェクトを動かして表示させる。例えば、図6のリング状の矢印が、ARコンテンツとして表示された際に回転するものである場合、表示制御部152は、作成画面上で当該矢印を回転させる。
(第1の実施形態の端末装置の構成)
図7を用いて、端末装置20の構成について説明する。図2は、第1の実施形態に係る端末装置の構成の一例を示す図である。図7に示すように、端末装置20は、通信部21、撮影部22、表示部23、記憶部24及び制御部25を有する。
通信部21は、ネットワークを介して、他の装置との間で有線又は無線によるデータ通信を行う。例えば、通信部21はNICである。撮影部22は、画像の撮影を行う装置である。例えば、撮影部22はカメラである。また、表示部23は、画面の表示を行うディスプレイ等の表示装置である。
記憶部24は、HDD、SSD、光ディスク、RAM、フラッシュメモリ、NVSRAM等の記憶装置である。記憶部24は、端末装置20で実行されるOSやプログラムを記憶する。さらに、記憶部24は、プログラムの実行で用いられる各種情報を記憶する。また、記憶部14は、AR情報241を記憶する。
AR情報241は、生成装置10によって生成されたARコンテンツの情報である。AR情報241には、マーカ及び表示されるオブジェクトの形状、位置、サイズ及び向き等の情報が含まれる。
制御部25は、端末装置20を制御する。制御部25は、CPU、MPU、ASIC、FPGA等である。例えば、制御部25は、特定部251及び表示制御部252として機能する。
特定部251は、AR情報241からARコンテンツのマーカの情報を取得し、撮影部22によって撮影されている画像から、マーカと合致する部分を特定する。マーカの情報は、画像そのものであってもよいし、画像の特徴を示す情報であってもよい。
表示制御部252は、特定部251によってマーカと合致する部分が特定された場合に、ARコンテンツのオブジェクトを、撮影部22によって撮影されている画像の重畳させて表示部23に表示させる。
図8を用いて、端末装置20に表示されるARコンテンツについて説明する。図8は、第1の実施形態に係る端末装置に表示されるARコンテンツの一例を示す図である。図8に示すSTEP.1から3の画面は、それぞれ図4から6に示す作成画面に対応している。
ここで、図8に示すSTEP.1の画面で次へボタンが押下されると、特定部251はSTEP.2に対応したマーカと合致する部分を特定する。そして、特定部251によってマーカと合致する部分が特定されると、表示制御部252は、STEP.2の画面を表示させる。
ここで、図5に示すように、STEP.2の作成画面では、報告書設定ウィンドウ55の写真チェックボックスがチェックされている。このため、図8に示すSTEP.2の画面で次へボタンが押下されると、撮影部22は、撮影中の画像の静止画を保存する。その後、特定部251は、STEP.3に対応したマーカと合致する部分を特定する。そして、特定部251によってマーカと合致する部分が特定されると、表示制御部252は、STEP.3の画面を表示させる。また、図8の各画面が表示部13に表示されている間、撮影部22は、ユーザから操作されたタイミングで静止画を保存することができる。
(第1の実施形態の変形例)
ここまで、生成装置10がARマニュアルを作成する場合の例について説明したが、生成装置10は、ARナビゲーションの生成を行うこともできる。図9を用いて、生成装置10のARナビゲーションの作成処理について説明する。図9は、第1の実施形態に係る生成装置のARナビゲーション作成画面の一例を示す図である。
図9に示すように、表示制御部152は、表示部13にARナビゲーション作成画面を表示させる。表示制御部152は、ARナビゲーション作成画面に、日時、戻るボタン、保存ボタン、次へボタンを表示させる。また、表示制御部152は、地図、通路、QR、ルート、編集、プレビューといった各機能に対応したボタンを表示させる。また、表示制御部152は、ARナビゲーション作成画面に、全体図参照ボタン、地図情報設定ボタン、看板設定ボタン及び削除ボタンを表示させる。
表示制御部152は、地図及び地図上の経路を表示部13に表示させる。図9の例では、建物が網掛けで表示され、経路が破線の矢印で表示されている。受付部153は、表示部13に表示された地図上に経路を配置する操作を受け付ける。例えば、受付部153は、経路の開始地点及び終了地点を指定する操作を受け付けることができる。
また、受付部153は、表示部13に表示された地図上にQRコード(登録商標)を配置する操作を受け付ける。受付部153は、テキストの入力を受け付け、当該受け付けたテキストを自動的にQRコードに変換してもよい。また、生成部154は、QRコードを基に生成されたマーカ、及び受付部153によって受け付けられた経路の配置に基づいて、地図上に経路を表示するARコンテンツを生成する。
(第1の実施形態の処理)
図10を用いて、ARマニュアルを作成する処理について説明する。図10は、第1の実施形態に係る生成装置のARマニュアルを作成する処理の流れを示すフローチャートである。まず、図10に示すように、生成装置10は、背景画像を読み込む(ステップS101)。
次に、生成装置10は、背景画像を表示する(ステップS102)。また、生成装置10は、オブジェクトの情報を表示する(ステップS103)。例えば、生成装置10は、機器の画像を背景画像として、配置可能なアイコンの一覧を表示する。
そして、生成装置10は、オブジェクトの位置の入力を受け付ける(ステップS104)。このとき、生成装置10は、位置だけでなく、オブジェクトのサイズや向きの入力を受け付けてもよい。生成装置10は、背景画像から生成したマーカ及びオブジェクトに関する入力を基に、ARマニュアルを生成する(ステップS105)。
図11を用いて、ARマニュアルを表示する処理について説明する。図11は、第1の実施形態に係る端末装置のARマニュアルを表示する処理の流れを示すフローチャートである。まず、図11に示すように、端末装置20は、画像を撮影する(ステップS201)。
端末装置20は、撮影している画像の中に、マーカと一致する画像を特定するまで撮影を続ける(ステップS202、No)。端末装置20は、撮影している画像の中にマーカと一致する画像があった場合(ステップS202、Yes)、手順に含まれる現在のステップのARマニュアルを表示する(ステップS203)。
そして、端末装置20は、ユーザが現在のステップの作業を完了するまで(ステップS204、No)、ARマニュアルの表示を続ける。端末装置20は、ユーザが現在のステップの作業を完了した場合(ステップS204、Yes)、報告書生成の設定を確認する(ステップS205)。
報告書生成が設定されている場合(ステップS205、Yes)、端末装置20は、報告書を生成する(ステップS206)。また、報告書生成が設定されていない場合(ステップS205、No)、端末装置20は、報告書を生成せずに次の処理へ進む。
ここで、手順に含まれる次のステップがある場合(ステップS207、Yes)、端末装置20はステップS201に戻り、処理を繰り返す。手順に含まれる次のステップがない場合(ステップS207、No)、端末装置20は処理を終了する。
図12を用いて、ARナビゲーションを作成する処理について説明する。図12は、第1の実施形態に係る生成装置のARナビゲーションを作成する処理の流れを示すフローチャートである。図12に示すように、生成装置10は、まず、地図を読み込む(ステップS301)。
次に、生成装置10は、地図を表示する(ステップS302)。さらに、生成装置10は、経路及びQRコードの入力を受け付ける(ステップS303)。ここで、生成装置10は、地図上に経路及びQRコードの配置を表示する(ステップS304)。そして、生成装置10は、地図及び経路に基づいてARナビゲーションを生成する。
図13を用いて、ARナビゲーションを表示する処理について説明する。図13は、第1の実施形態に係る端末装置のARナビゲーションを表示する処理の流れを示すフローチャートである。まず、図13に示すように、端末装置20は、画像を撮影する(ステップS401)。
端末装置20は、撮影している画像の中に、マーカと一致するQRコードを特定するまで撮影を続ける(ステップS402、No)。端末装置20は、撮影している画像の中にマーカと一致する画像があった場合(ステップS402、Yes)、地図上に経路を表示する(ステップS403)。
(第1の実施形態の効果)
第1の実施形態において、表示制御部152は、機器の画像及びオブジェクトの一覧を表示部13に表示させる。また、受付部153は、表示部13に表示されたオブジェクトの一覧から選択したオブジェクトを、表示部13に表示された画像上に配置する操作を受け付ける。また、生成部154は、機器の画像を基に生成されたマーカ、及び受付部153によって受け付けられたオブジェクトの配置に基づいて、機器に関する所定の手順を表示するARコンテンツを生成する。
このように、第1の実施形態の生成装置によれば、直感的に操作によってARコンテンツを生成することができるため、高度な知識を持たない者やプログラミングの初心者であっても、ARコンテンツを容易に作成することができる。
また、受付部153は、表示部13に表示された機器の画像の一部の領域を指定する操作をさらに受け付ける。また、生成部154は、領域の画像をマーカに基づいてARコンテンツを生成する。これにより、ユーザは、オブジェクトとマーカの位置関係を直感的に把握しながらARコンテンツを作成することができる。
生成部154は、機器に関する複数の手順のそれぞれについてARコンテンツを生成し、ARコンテンツのそれぞれに対して1つのマーカを設定する。これにより、ARコンテンツを表示する端末装置が、対象となるマーカを複数の中から決定するための処理を行う必要がなくなる。
受付部153は、所定の手順の完了後に報告書を生成するか否かを指定する操作をさらに受け付ける。また、生成部154は、受付部153によって、報告書を生成することを指定する操作が受け付けられた場合、ARコンテンツに、所定の手順の完了後に報告書を作成する処理を追加する。これにより、ユーザは、簡単な操作でARマニュアルに報告書の作成処理を追加することができる。
受付部153は、所定の手順の完了後に写真を含む報告書を生成するか否かを指定する操作をさらに受け付ける。また、生成部154は、受付部153によって、写真を含む報告書を生成することを指定する操作が受け付けられた場合、ARコンテンツに、所定の手順の完了後に写真を撮影する処理を追加する。これにより、ユーザは、簡単な操作でARマニュアルに写真を含む報告書の作成処理を追加することができる。
受付部153は、オブジェクトのサイズ及び向きを指定する操作をさらに受け付ける。これにより、ARマニュアルにおけるオブジェクトを、ユーザの希望により近い態様で表示することが可能になる。
表示制御部152は、オブジェクトのうち、ARコンテンツとして表示された際に動くオブジェクトが画像上に配置されている場合、当該配置されたオブジェクトを動かして表示する。これにより、ユーザが、どのようにARコンテンツが表示されるかを直感的に把握することが可能となる。
表示制御部152は、地図及び地図上の経路を表示部13に表示させる。また、受付部153は、表示部13に表示された地図上に経路を配置する操作、及び表示部13に表示された地図上にQRコードを配置する操作を受け付ける。また、生成部154は、QRコードを基に生成されたマーカ、及び受付部153によって受け付けられた経路の配置に基づいて、地図上に経路を表示するARコンテンツを生成する。これにより、ユーザは、簡単な操作でARナビゲーションを作成することができる。
(第2の実施形態)
図5等を用いて説明したように、第1の実施形態の生成装置10は、ユーザによって指定されたマーカ領域52をマーカとするARコンテンツを生成することができる。その際、指定したマーカ領域52が、ARコンテンツにおけるマーカに適しているか否かを判断するための情報は、ユーザにとって有用であると考えられる。そこで、第2の実施形態では、生成装置10は、ユーザが指定したマーカ領域52のマーカとしての適性の度合いをユーザに提示する。
(第2の実施形態の生成装置の構成)
図14を用いて、生成装置10の構成について説明する。図14は、第2の実施形態に係る生成装置の構成の一例を示す図である。なお、第2の実施形態において、第1の実施形態と同一の機能を有する機能部については、第1の実施形態と同一の符号を付し、適宜説明を省略する。図14に示すように、生成装置10は、通信部11、入力部12、表示部13、記憶部14及び制御部15を有する。また、制御部15は、格納部151、表示制御部152、受付部153、生成部154及び評価部155として機能する。
ここで、図5を用いて説明した通り、受付部153は、表示部13に表示された機器の画像の一部の領域を指定する操作を受け付ける。このとき指定される領域は、マーカ領域52である。また、生成部154は、マーカ領域52の画像から生成されたマーカに基づいて、機器に関する所定の手順を表示するARコンテンツを生成する。
評価部155は、マーカ領域52がARコンテンツにおけるマーカとしての適性の度合いを計算し、計算結果をユーザに提供することができる。例えば、評価部155は、受付部153によってマーカ領域52が指定された後であって、生成部154によるARコンテンツの生成が行われる前に、計算及び計算結果の提供を行う。また、図14に示すように、評価部155は、抽出部155a及び計算部155bを有する。
抽出部155aは、マーカ領域52の画像から特徴点を抽出する。ここで、抽出部155aによる特徴点の抽出方法は、AKAZE等の画像認識等で用いられる既知の方法であってよい。例えば、抽出部155aは、画像内の物体の角、線の部分、明暗や色の差が明確に表れている部分を特徴点として抽出する。
計算部155bは、抽出部155aによって抽出された特徴点の数及び位置を基に、領域の画像のARコンテンツにおけるマーカとしての適性の度合いを計算する。さらに、表示制御部152は、適性の度合いを表す数値及び特徴点を、領域の画像とともに表示部13に表示させることができる。
ここで、具体例を用いて評価部155の動作を説明する。また、以降の説明では、領域のマーカとしての適性の度合いを、マーカ強度と表記する。まず、受付部153がマーカ領域52の指定を受け付けると、評価部155は、特徴点の抽出及びマーカ強度の計算を行う。そして、図15に示すように、表示制御部152は、マーカ強度を表示するマーカ強度表示ウィンドウ521を、ARマニュアル作成画面に重畳表示させる。図15は、第2の実施形態に係る生成装置のARマニュアル作成画面の一例を示す図である。
表示制御部152は、マーカ強度表示ウィンドウ521に、マーカ強度、特徴点数、重心距離及び空白区画数を表示させる。さらに、表示制御部152は、マーカ強度表示ウィンドウ521に、詳細表示ボタン522を表示させる。パラメータ強度は、マーカとしての適性の度合いを表す0以上100以下の数値である。マーカ領域52の画像のARにおけるマーカとしての適性の度合いが大きいほど、パラメータ強度は大きくなる。また、特徴点数、重心距離及び空白区画数は、マーカ強度を計算するためのパラメータであって、計算部155bによって計算される。各パラメータの詳細については後述する。図15の例では、マーカ強度表示ウィンドウ521は、パラメータ強度が65、特徴点数が18、重心距離が0.095、空白区画数が2であることを示している。
詳細表示ボタン522が押下されると、表示制御部152は、マーカ強度判定結果画面523を表示する。図16は、第2の実施形態に係る生成装置のマーカ強度判定結果画面の一例を示す図である。図16に示すように、マーカ強度判定結果画面523は、指定領域表示ウィンドウ524、情報表示領域525及び閉じるボタン526をさらに表示する。
指定領域表示ウィンドウ524には、マーカ領域52の画像である指定領域画像524aが、特徴点、特徴点重心及び画像中心を表すシンボルとともに表示される。特徴点重心及び画像中心の詳細については後述する。また、情報表示領域525には、マーカ領域52に関する情報が表示される。また、閉じるボタン526が押下されると、マーカ強度判定結果画面523が閉じられる。
情報表示領域525には、マーカ強度表示ウィンドウ521と同様に、マーカ強度及び各パラメータが表示される。また、情報表示領域525には、指定領域画像524aの幅、高さ及び仕上がり設定が表示される。
ここで、幅W及び高さHは画素数で表される。また、仕上がり設定は、マーカ領域52の指定元の画像、すなわちARマニュアル作成画面に表示される機器の画像の露出、彩度、コントラスト等の調整方法を示すものである。仕上がり設定は、抽出部155aによって抽出される特徴点の数及び位置に影響を与える。図16の例では、情報表示領域525は、パラメータ強度が65、特徴点数が18、重心距離が0.095、空白区画数が2であり、さらに、指定領域画像524aの幅が640ピクセル、高さが640ピクセル、仕上がり設定がPortraitであることを示している。
さらに、情報表示領域525には、指定領域画像524aに重畳表示されるシンボルの凡例が表示される。図16の例では、情報表示領域525は、特徴点、特徴点重心及び画像中心を表すシンボルの凡例を示している。
図17を用いて、マーカ強度の計算方法及び各パラメータについて説明する。図17は、第2の実施形態に係る生成装置のマーカ強度について説明するための図である。図17に示すように、ここでは、指定領域画像524aがxy平面上にあり、指定領域画像524aの任意の位置をxy座標で表現することができるものとする。座標は、画素のインデックス等の離散値によって表されたものであってもよいし、連続値によって表されたものであってもよい。また、図17の破線で表される直線は説明のための補助線であり、実際にマーカ強度判定結果画面523に表示されてもよいし、表示されなくてもよい。
まず、各パラメータを計算するための準備段階の処理を説明する。計算部155bは、指定領域画像524aの外枠の長方形の中心の座標を、画像中心501の座標として計算する。計算部155bは、特徴点502aを含む指定領域画像524aに表示されている特徴点の座標の平均を、特徴点重心502の座標として計算する。なお、特徴点502aと同様のシンボルはいずれも特徴点を表している。
また、計算部155bは、指定領域画像524aを複数の区画に分割する。ここでは、計算部155bは、指定領域画像524aを、区画503a、区画503b、区画503c、区画503d、区画503e及び区画503fの6個の区画に分割する。
次に、各パラメータ及びマーカ強度を計算する処理について説明する。まず、計算部155bは、指定領域画像524a内の特徴点をカウントし特徴点数を得る。図16の例では、特徴点数は18である。
そして、計算部155bは、画像中心と特徴点重心との間の距離である重心距離を計算する。また、指定領域画像524aの解像度等の影響を排除し、スケールを揃えるために、計算部155bは、画像中心と特徴点重心との間の距離を正規化した値を重心距離としてもよい。例えば、計算部155bは、画像中心と特徴点重心との間の距離を、指定領域画像524aの外枠の長方形の対角線の長さの半分で割った値を重心距離として計算する。
さらに、計算部155bは、分割した区画のうち、特徴点が存在しない区画をカウントし空白区画数を得る。図16の例では、区画503a及び区画503bには特徴点が存在し、区画503c、区画503d、区画503e及び区画503fには特徴点が存在するため、空白区画数は2である。また、計算部155bは、分割する区画数の影響を排除するために、空白区画数の代わりに、全区画数に対する空白区画数の割合である空白区画割合をパラメータとして計算してもよい。
ここで、計算部155bは、マーカ強度を、特徴点数が大きいほどが大きくなるように計算する。また、計算部155bは、マーカ強度を、領域の画像の中心と特徴点の位置の重心との間の距離、が小さいほどが大きくなるように計算する。また、計算部155bは、適性の度合いを、領域を分割して得られる複数の区画のうち、特徴点を含まない区画の数が小さいほどが大きくなるように計算する。
例えば、計算部155bは、(1)式のようにパラメータ強度を計算する。また、計算部155bは、式(1)で計算したSに所定の係数を掛けてスケーリングした値をパラメータ強度としてもよい。
Figure 2019160290
また、マーカ強度及びパラメータ等の各情報がマーカ強度表示ウィンドウ521及びマーカ強度判定結果画面523等に表示された後、ユーザがマーカ領域52を確定する操作を行った場合は、生成部154は、指定されたマーカ領域52の画像から生成されたマーカに基づいてARコンテンツを生成する。一方、ユーザがさらに他のマーカ領域52を指定した場合、評価部155は、さらに指定されたマーカ領域52のマーカ強度を計算する。
(第2の実施形態の処理)
図18を用いて、マーカ領域52の評価処理について説明する。図18は、第2の実施形態に係る生成装置の評価処理の流れを示すフローチャートである。図18に示すように、生成装置10は、マーカ領域52が指定されるまで待機する(ステップS501、No)。
マーカ領域52が指定されると(ステップS501、Yes)、生成装置10は、マーカ領域52内の特徴点を抽出する(ステップS502)。そして、生成装置10は、特徴点重心の座標を計算する(ステップS503)。さらに、生成装置10は、画像中心と特徴点重心との距離である重心距離を計算する(ステップS504)。
また、生成装置10は、マーカ領域52を分割した複数の区画から、空白区画をカウントする(ステップS505)。そして、生成装置10は、特徴点数、重心距離及び空白区画数からマーカ強度を計算する(ステップS506)。
その後、生成装置10は、マーカ強度及び各情報を表示し(ステップS507)、ユーザの操作によりマーカ領域52が確定された場合は(ステップS508、Yes)、処理を終了する。一方、マーカ領域52が確定されなかった場合は(ステップS508、No)、生成装置10はステップS501に戻り、さらにマーカ領域52の指定を待機する。
(第2の実施形態の効果)
第2の実施形態において、受付部153は、表示部13に表示された機器の画像の一部の領域を指定する操作を受け付ける。また、抽出部155aは、領域の画像から特徴点を抽出する。また、計算部155bは、抽出部155aによって抽出された特徴点の数及び位置を基に、領域の画像のARコンテンツにおけるマーカとしての適性の度合いを計算する。また、生成部154は、領域の画像から生成されたマーカに基づいて、機器に関する所定の手順を表示するARコンテンツを生成する。
このように、第2の実施形態の生成装置によれば、高度な知識を持たない者やプログラミングの初心者であっても、指定した領域のマーカとしての適性の度合いを確認することができるため、精度の高いARコンテンツを容易に作成することができる。
また、計算部155bは、適性の度合いを、特徴点の数が大きいほどが大きくなるように計算する。また、計算部155bは、適性の度合いを、領域の画像の中心と特徴点の位置の重心との間の距離が小さいほどが大きくなるように計算する。また、計算部155bは、適性の度合いを、領域を分割して得られる複数の区画のうち、特徴点を含まない区画の数が小さいほどが大きくなるように計算する。
ここで、ARの精度とは、実際にARコンテンツを表示する際のマーカを認識する速さ及び正確性等である。一般的なARのアルゴリズムにおいて、ARの精度は良くなる条件として、特徴点の数が多いこと、及び特徴点がマーカ内で均等に分散していることが知られている。重心距離が小さいほど、特徴点の分散が均等であるといえる。また、空白区間数が小さいほど、特徴点が分散しているといえる。これより、第2の実施形態によれば、ARコンテンツを作成する際に精度の良いマーカを得ることが可能になる。
表示制御部152は、適性の度合いを表す数値及び特徴点を、領域の画像とともに表示部13に表示させる。これにより、ユーザは、指定した領域の画像を確認しつつ、当該画像のマーカとしての適性の度合いを定量的に判断することができる。
なお、上記の実施形態の生成装置10及び端末装置20で実行されるプログラムは、ROM等にあらかじめ組み込まれて提供される。実施形態の生成装置10及び端末装置20で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
さらに、実施形態の生成装置10及び端末装置20で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、実施形態の生成装置10及び端末装置20で実行されるプログラムをインターネット等のネットワーク経由で提供又は配布するように構成してもよい。
実施形態の生成装置10及び端末装置20で実行されるプログラムは、上述した各部(格納部151、表示制御部152、受付部153、生成部154、評価部155、抽出部155a、計算部155b、特定部251及び表示制御部252)を含むモジュール構成となっており、実際のハードウェアとしてはCPUが上記ROMからプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、格納部151、表示制御部152、受付部153、生成部154、評価部155、抽出部155a、計算部155b、特定部251及び表示制御部252が主記憶装置上に生成されるようになっている。
本発明の実施形態を説明したが、実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 提供システム
10 生成装置
11、21 通信部
12 入力部
13、23 表示部
14、24 記憶部
15、25 制御部
20 端末装置
22 撮影部
141 オブジェクト情報
142 背景画像情報
151 格納部
152、252 表示制御部
153 受付部
154 生成部
155 評価部
155a 抽出部
155b 計算部
251 特定部

Claims (19)

  1. 機器の画像及びオブジェクトの一覧を表示部に表示させる表示制御部と、
    前記表示部に表示された前記オブジェクトの一覧から選択したオブジェクトを、前記表示部に表示された前記画像上に配置する操作を受け付ける受付部と、
    前記機器の画像を基に生成されたマーカ、及び前記受付部によって受け付けられた前記オブジェクトの配置に基づいて、前記機器に関する所定の手順を表示するAR(Augmented Reality)コンテンツを生成する生成部と、
    を有することを特徴とする生成装置。
  2. 前記受付部は、前記表示部に表示された前記機器の画像の一部の領域を指定する操作をさらに受け付け、
    前記生成部は、前記領域の画像から生成されたマーカに基づいて前記ARコンテンツを生成することを特徴とする請求項1に記載の生成装置。
  3. 前記生成部は、前記機器に関する複数の手順のそれぞれについて前記ARコンテンツを生成し、前記ARコンテンツのそれぞれに対して1つのマーカを設定することを特徴とする請求項1又は2に記載の生成装置。
  4. 前記受付部は、前記所定の手順の完了後に報告書を生成するか否かを指定する操作をさらに受け付け、
    前記生成部は、前記受付部によって、前記報告書を生成することを指定する操作が受け付けられた場合、前記ARコンテンツに、前記所定の手順の完了後に前記報告書を作成する処理を追加することを特徴とする請求項1から3のいずれか1項に記載の生成装置。
  5. 前記受付部は、前記所定の手順の完了後に写真を含む報告書を生成するか否かを指定する操作を受け付け、
    前記生成部は、前記受付部によって、前記写真を含む報告書を生成することを指定する操作が受け付けられた場合、前記ARコンテンツに、前記所定の手順の完了後に写真を撮影する処理をさらに追加することを特徴とする請求項4に記載の生成装置。
  6. 前記受付部は、前記オブジェクトのサイズ及び向きを指定する操作をさらに受け付けることを特徴とする請求項1から5のいずれか1項に記載の生成装置。
  7. 前記表示制御部は、前記オブジェクトのうち、ARコンテンツとして表示された際に動くオブジェクトが前記画像上に配置されている場合、当該配置されたオブジェクトを動かして表示させることを特徴とする請求項1から6のいずれか1項に記載の生成装置。
  8. 地図及び前記地図上の経路を表示部に表示させる表示制御部と、
    前記表示部に表示された前記地図上に経路を配置する操作、及び前記表示部に表示された前記地図上にQRコードを配置する操作を受け付ける受付部と、
    前記QRコードを基に生成されたマーカ、及び前記受付部によって受け付けられた前記経路の配置に基づいて、前記地図上に経路を表示するARコンテンツを生成する生成部と、
    を有することを特徴とする生成装置。
  9. コンピュータによって実行される生成方法であって、
    機器の画像及びオブジェクトの一覧を表示部に表示させる表示制御工程と、
    前記表示部に表示された前記オブジェクトの一覧から選択したオブジェクトを、前記表示部に表示された前記画像上に配置する操作を受け付ける受付工程と、
    前記機器の画像を基に生成されたマーカ、及び前記受付工程において受け付けられた前記オブジェクトの配置に基づいて、前記機器に関する所定の手順を表示するAR(Augmented Reality)コンテンツを生成する生成工程と、
    を含むことを特徴とする生成方法。
  10. コンピュータによって実行される生成方法であって、
    地図及び前記地図上の経路を表示部に表示させる表示制御工程と、
    前記表示部に表示された前記地図上に経路を配置する操作、及び前記表示部に表示された前記地図上にQRコードを配置する操作を受け付ける受付工程と、
    前記QRコードを基に生成されたマーカ、及び前記受付工程において受け付けられた前記経路の配置に基づいて、前記地図上に経路を表示するARコンテンツを生成する生成工程と、
    を含むことを特徴とする生成方法。
  11. コンピュータを、
    機器の画像及びオブジェクトの一覧を表示部に表示させる表示制御手段と、
    前記表示部に表示された前記オブジェクトの一覧から選択したオブジェクトを、前記表示部に表示された前記画像上に配置する操作を受け付ける受付手段と、
    前記機器の画像を基に生成されたマーカ、及び前記受付手段によって受け付けられた前記オブジェクトの配置に基づいて、前記機器に関する所定の手順を表示するAR(Augmented Reality)コンテンツを生成する生成手段と、
    として機能させることを特徴とする生成プログラム。
  12. コンピュータを、
    地図及び前記地図上の経路を表示部に表示させる表示制御手段と、
    前記表示部に表示された前記地図上に経路を配置する操作、及び前記表示部に表示された前記地図上にQRコードを配置する操作を受け付ける受付手段と、
    前記QRコードを基に生成されたマーカ、及び前記受付手段によって受け付けられた前記経路の配置に基づいて、前記地図上に経路を表示するARコンテンツを生成する生成手段と、
    として機能させることを特徴とする生成プログラム。
  13. 表示部に表示された機器の画像の一部の領域を指定する操作を受け付ける受付部と、
    前記領域の画像から特徴点を抽出する抽出部と、
    前記抽出部によって抽出された特徴点の数及び位置を基に、前記領域の画像のARコンテンツにおけるマーカとしての適性の度合いを計算する計算部と、
    前記領域の画像から生成されたマーカに基づいて、前記機器に関する所定の手順を表示するARコンテンツを生成する生成部と、
    を有することを特徴とする生成装置。
  14. 前記計算部は、前記適性の度合いを、前記特徴点の数が大きいほどが大きくなるように計算することを特徴とする請求項13に記載の生成装置。
  15. 前記計算部は、前記適性の度合いを、前記領域の画像の中心と前記特徴点の位置の重心との間の距離が小さいほど大きくなるように計算することを特徴とする請求項13又は14に記載の生成装置。
  16. 前記計算部は、前記適性の度合いを、前記領域を分割して得られる複数の区画のうち、前記特徴点を含まない区画の数が小さいほど大きくなるように計算することを特徴とする請求項13から15のいずれか1項に記載の生成装置。
  17. 前記適性の度合いを表す数値及び前記特徴点を、前記領域の画像とともに表示部に表示させる表示制御部をさらに有することを特徴とする請求項13から16のいずれか1項に記載の生成装置。
  18. コンピュータによって実行される生成方法であって、
    表示部に表示された機器の画像の一部の領域を指定する操作を受け付ける受付工程と、
    前記領域の画像から特徴点を抽出する抽出工程と、
    前記抽出工程によって抽出された特徴点の数及び位置を基に、前記領域の画像のARコンテンツにおけるマーカとしての適性の度合いを計算する計算工程と、
    前記領域の画像から生成されたマーカに基づいて、前記機器に関する所定の手順を表示するARコンテンツを生成する生成工程と、
    を含むことを特徴とする生成方法。
  19. コンピュータを、
    表示部に表示された機器の画像の一部の領域を指定する操作を受け付ける受付手段と、
    前記領域の画像から特徴点を抽出する抽出手段と、
    前記抽出手段によって抽出された特徴点の数及び位置を基に、前記領域の画像のARコンテンツにおけるマーカとしての適性の度合いを計算する計算手段と、
    前記領域の画像から生成されたマーカに基づいて、前記機器に関する所定の手順を表示するARコンテンツを生成する生成手段と、
    として機能させることを特徴とする生成プログラム。
JP2018236718A 2018-03-12 2018-12-18 生成装置、生成方法及び生成プログラム Active JP6670918B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018044060 2018-03-12
JP2018044060 2018-03-12

Publications (2)

Publication Number Publication Date
JP2019160290A true JP2019160290A (ja) 2019-09-19
JP6670918B2 JP6670918B2 (ja) 2020-03-25

Family

ID=67994099

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018236718A Active JP6670918B2 (ja) 2018-03-12 2018-12-18 生成装置、生成方法及び生成プログラム

Country Status (1)

Country Link
JP (1) JP6670918B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005308456A (ja) * 2004-03-25 2005-11-04 Nippon Telegr & Teleph Corp <Ntt> 3次元経路案内方法および3次元経路案内サーバ
JP2014142884A (ja) * 2013-01-25 2014-08-07 Fuji Xerox Co Ltd 標識画像配置支援装置及びプログラム
JP2014203251A (ja) * 2013-04-04 2014-10-27 楽天株式会社 商品情報提供システム、商品情報提供装置、商品情報提供方法、及び商品情報提供プログラム
JP2014215646A (ja) * 2013-04-22 2014-11-17 富士通株式会社 表示制御装置、表示制御方法、情報設定装置、情報設定方法および情報提供システム
JP2015026138A (ja) * 2013-07-24 2015-02-05 富士通株式会社 情報処理装置、位置指定方法および位置指定プログラム
JP2016009402A (ja) * 2014-06-25 2016-01-18 株式会社デジタル 画像データ作成装置および携帯端末装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005308456A (ja) * 2004-03-25 2005-11-04 Nippon Telegr & Teleph Corp <Ntt> 3次元経路案内方法および3次元経路案内サーバ
JP2014142884A (ja) * 2013-01-25 2014-08-07 Fuji Xerox Co Ltd 標識画像配置支援装置及びプログラム
JP2014203251A (ja) * 2013-04-04 2014-10-27 楽天株式会社 商品情報提供システム、商品情報提供装置、商品情報提供方法、及び商品情報提供プログラム
JP2014215646A (ja) * 2013-04-22 2014-11-17 富士通株式会社 表示制御装置、表示制御方法、情報設定装置、情報設定方法および情報提供システム
JP2015026138A (ja) * 2013-07-24 2015-02-05 富士通株式会社 情報処理装置、位置指定方法および位置指定プログラム
JP2016009402A (ja) * 2014-06-25 2016-01-18 株式会社デジタル 画像データ作成装置および携帯端末装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
栗原 和也: "位置情報を共有するマーカベースの屋内ナビゲーションシステム", マルチメディア,分散,協調とモバイル(DICOMO2014)シンポジウム論文集 情報処理学会シンポジ, vol. 2014, no. 1, JPN6020000992, 2 July 2014 (2014-07-02), JP, pages 1099 - 1103, ISSN: 0004213442 *

Also Published As

Publication number Publication date
JP6670918B2 (ja) 2020-03-25

Similar Documents

Publication Publication Date Title
US10964108B2 (en) Augmentation of captured 3D scenes with contextual information
JP6525617B2 (ja) 画像処理装置およびその制御方法
JP7140487B2 (ja) 情報処理装置、表示制御方法、及び、プログラム
CN108876934B (zh) 关键点标注方法、装置和系统及存储介质
JP6525611B2 (ja) 画像処理装置およびその制御方法
JP6144364B2 (ja) 作業支援用データ作成プログラム
JP7023696B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2013174581A (ja) 画像データ生成装置および画像データ生成方法
JP2019046055A5 (ja)
JP2015115818A (ja) 画像処理装置、画像処理方法およびプログラム。
WO2021186672A1 (ja) 画像処理方法
JP6670918B2 (ja) 生成装置、生成方法及び生成プログラム
JP7015130B2 (ja) データ処理装置
JP6607243B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2020021465A (ja) 点検システム及び点検方法
US11551339B2 (en) Information processing apparatus, information processing method, and storage medium
JP6405539B2 (ja) 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法
JP2016042661A (ja) 情報処理装置、システム、情報処理方法及びプログラム
JP2007241370A (ja) 携帯装置及び撮像装置
JP6481204B2 (ja) 情報処理装置と、その処理方法及びプログラム
JP6223117B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2023224031A1 (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
WO2019239717A1 (ja) 撮影支援装置、撮影支援方法、及び撮影支援プログラム
JP2008301274A (ja) 情報処理装置、情報処理方法及びプログラム
JP2022094907A (ja) 生成装置、生成方法、及び、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20181219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200302

R150 Certificate of patent or registration of utility model

Ref document number: 6670918

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250