JP2016162079A - 表示制御方法、表示制御プログラム、及び情報処理装置 - Google Patents
表示制御方法、表示制御プログラム、及び情報処理装置 Download PDFInfo
- Publication number
- JP2016162079A JP2016162079A JP2015038655A JP2015038655A JP2016162079A JP 2016162079 A JP2016162079 A JP 2016162079A JP 2015038655 A JP2015038655 A JP 2015038655A JP 2015038655 A JP2015038655 A JP 2015038655A JP 2016162079 A JP2016162079 A JP 2016162079A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- information
- imaging device
- positional relationship
- marker
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 102
- 230000010365 information processing Effects 0.000 title claims description 6
- 238000003384 imaging method Methods 0.000 claims abstract description 81
- 238000012545 processing Methods 0.000 claims abstract description 37
- 238000006243 chemical reaction Methods 0.000 claims description 59
- 239000003550 marker Substances 0.000 description 136
- 230000008569 process Effects 0.000 description 86
- 238000004891 communication Methods 0.000 description 31
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】表示制御方法において、撮像装置が生成した画像データに物体が含まれる場合、該物体と前記撮像装置との位置関係を示す情報を生成し、前記情報と、記憶部に記憶された前記物体と前記撮像装置との位置関係を示す情報とに基づき、前記撮像装置が生成した画像データを、前記記憶部に記憶された前記位置関係で撮影された画像データへ変換し、前記変換された画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記変換された画像データに含まれる前記物体の位置に応じて重畳表示する、処理をコンピュータが実行する。
【選択図】図6
Description
図1は、表示制御システムの概略構成の一例を示す図である。図1に示す表示制御システム10は、サーバ11と、1又は複数の表示装置12−1〜12−n(以下、必要に応じて「表示装置12」と総称する)とを有する。サーバ11及び表示装置12は、情報処理装置の一例である。サーバ11及び表示装置12は、例えば通信ネットワーク13によりデータの送受信が可能な状態で接続されている。
次に、上述した表示装置12の機能構成の一例について、図を用いて具体的に説明する。図2は、表示装置の機能構成の一例を示す図である。図2に示す表示装置12は、入力部21と、表示部22と、記憶部23と、画像取得部24と、認識部25と、位置関係生成部26と、変換部27と、コンテンツ生成部28と、通信部29と、制御部30とを有する。
次に、表示装置12として機能するコンピュータのハードウェア構成例について、図を用いて説明する。図3は、表示装置のハードウェア構成の一例を示す図である。図3の例において、表示装置12は、マイクロフォン(以下、「マイク」という)41と、スピーカ42と、カメラ43と、表示部44と、操作部45と、センサ部46と、電力部47と、無線部48と、近距離通信部49と、補助記憶装置50と、主記憶装置51と、CPU52と、ドライブ装置53とを有し、これらはシステムバスBで相互に接続されている。
次に、本実施形態における表示制御処理の一例についてフローチャートを用いて説明する。
図4は、オーサリング処理における表示制御処理の一例を示すフローチャートである。図4の例において、オーサリング処理を行う表示制御プログラム(アプリケーション)を起動すると、画像取得部24は、例えば撮像装置(第1の撮像装置)31等が生成した画像(第1の画像データ)を取得する(S01)。S01の処理では、映像(所定間隔で取得されるフレーム画像)を取得してもよい。
図5は、本実施形態で用いられるデータ例を示す図である。図5では、上述したオーサリング処理により、記憶部23やサーバ11に記憶されるデータ例である。データの項目としては、例えば「マーカID」、「オブジェクトデータ」、「座標(配置位置情報)」、「回転角(回転角情報)」等であるが、これに限定されるものではない。
図6は、AR表示における表示制御処理の一例を示すフローチャートである。AR表示処理は、例えばオーサリング処理後の運用時における処理を示す。図6の例において、表示装置12は、前処理として、AR表示に対応する表示制御プログラムの起動や撮像装置31の起動等を行う(S11)。次に、画像取得部24は、例えば撮像装置(第2の撮像装置)31等が生成した画像(第2の画像データ)を取得する(S12)。S12の処理では、映像(所定間隔で取得されるフレーム画像)を取得してもよい。
次に、上述したS15のカメラ視線変換処理について、フローチャートを用いて説明する。図7は、カメラ視線変換処理の一例を示すフローチャートである。図7の例において、変換部27は、AR表示処理において、認識したARマーカの回転角(上述した第2の位置関係)を取得する(S31)。図7の例では、S31の処理で取得した回転角を(xΘn,yΘn,zΘn)とする。
次に、上述した表示制御処理の実施例について図を用いて説明する。図8は、オブジェクトデータの表示例を示す図である。例えば、オーサリング処理において、ユーザは、図8(A)のようにARマーカ60と正対した向きで、オブジェクトデータ70−1〜70−4等及び配置位置(ARマーカ60に対する相対位置)を設定したとする。
(付記1)
撮像装置が生成した画像データに物体が含まれる場合、該物体と前記撮像装置との位置関係を示す情報を生成し、
前記情報と、記憶部に記憶された前記物体と前記撮像装置との位置関係を示す情報とに基づき、前記撮像装置が生成した画像データを、前記記憶部に記憶された前記位置関係で撮影された画像データへ変換し、
前記変換された画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記変換された画像データに含まれる前記物体の位置に応じて重畳表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。
(付記2)
撮像装置が生成した第1の画像データを取得し、
前記第1の画像データに所定の物体が含まれる場合、該物体と前記撮像装置との第1の位置関係を示す第1の情報を生成し、
撮像装置が生成した第2の画像データに前記物体が含まれる場合、該物体と前記撮像装置との第2の位置関係を示す第2の情報を生成し、
前記第1の情報及び前記第2の情報に基づき、前記第2の画像データを、前記第1の位置関係で撮影された画像に対応する第3の画像データへ変換し、
前記第3の画像データに前記物体が含まれる場合、前記第3の画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記第3の画像データに含まれる前記物体の位置に応じて重畳表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。
(付記3)
前記第1の情報に含まれる前記物体の回転角情報と、前記第2の情報に含まれる前記物体の回転角情報との差分を算出し、
算出した前記差分に基づいて、前記第2の画像データを、前記第3の画像データへ変換することを特徴とする付記2に記載の表示制御方法。
(付記4)
前記第1の画像データに前記物体が複数存在する場合、又は前記第2の画像データに前記物体が複数存在する場合に、それぞれの画像データから得られる前記第1の情報又は前記第2の情報の平均値を用いて、前記第2の画像データを、前記第3の画像データへ変換することを特徴とする付記2又は3に記載の表示制御方法。
(付記5)
前記第2の画像データに前記物体が複数存在する場合に、ユーザから選択された前記物体に対応する前記第2の情報を用いて、前記第2の画像データを、前記第3の画像データへ変換することを特徴とする付記2又は3に記載の表示制御方法。
(付記6)
撮像装置が生成した画像データに物体が含まれる場合、該物体と前記撮像装置との位置関係を示す情報を生成し、
前記情報と、記憶部に記憶された前記物体と前記撮像装置との位置関係を示す情報とに基づき、前記撮像装置が生成した画像データを、前記記憶部に記憶された前記位置関係で撮影された画像データへ変換し、
前記変換された画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記変換された画像データに含まれる前記物体の位置に応じて重畳表示する、
処理をコンピュータに実行させるための表示制御プログラム。
(付記7)
撮像装置が生成した第1の画像データを取得し、
前記第1の画像データに所定の物体が含まれる場合、該物体と前記撮像装置との第1の位置関係を示す第1の情報を生成し、
撮像装置が生成した第2の画像データに前記物体が含まれる場合、該物体と前記撮像装置との第2の位置関係を示す第2の情報を生成し、
前記第1の情報及び前記第2の情報に基づき、前記第2の画像データを、前記第1の位置関係で撮影された画像に対応する第3の画像データへ変換し、
前記第3の画像データに前記物体が含まれる場合、前記第3の画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記第3の画像データに含まれる前記物体の位置に応じて重畳表示する、
処理をコンピュータに実行させるための表示制御プログラム。
(付記8)
撮像装置が生成した画像データに物体が含まれる場合、該物体と前記撮像装置との位置関係を示す情報を生成する位置関係生成部と、
前記情報と、記憶部に記憶された前記物体と前記撮像装置との位置関係を示す情報とに基づき、前記撮像装置が生成した画像データを、前記記憶部に記憶された前記位置関係で撮影された画像データへ変換する変換部と、
前記変換部により変換された画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記変換された画像データに含まれる前記物体の位置に応じて重畳表示するコンテンツ生成部と、
を有することを特徴とする情報処理装置。
(付記9)
撮像装置が生成した第1の画像データを取得する画像取得部と、
前記画像取得部で取得した第1の画像データに所定の物体が含まれる場合、該物体と前記撮像装置との第1の位置関係を示す第1の情報を生成する位置関係生成部と、
前記位置関係生成部により、撮像装置が生成した第2の画像データに前記物体が含まれる場合、該物体と前記撮像装置との第2の位置関係を示す第2の情報を生成し、前記第1の情報及び前記第2の情報に基づき、前記第2の画像データを、前記第1の位置関係で撮影された画像に対応する第3の画像データへ変換する変換部と、
前記第3の画像データに前記物体が含まれる場合、前記第3の画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記第3の画像データに含まれる前記物体の位置に応じて重畳表示するコンテンツ生成部とを有することを特徴とする情報処理装置。
11 サーバ
12 表示装置
13 通信ネットワーク
21 入力部
22,44 表示部
23 記憶部
24 画像取得部
25 認識部
26 位置関係生成部
27 変換部
28 コンテンツ生成部
29 通信部
30 制御部
31 撮像装置
41 マイクロフォン
42 スピーカ
43 カメラ
45 操作部
46 センサ部
47 電力部
48 無線部
49 近距離通信部
50 補助記憶装置
51 主記憶装置
52 CPU
53 ドライブ装置
54 記録媒体
60 ARマーカ
70,80 オブジェクトデータ
90 実物体
100 画面
Claims (7)
- 撮像装置が生成した画像データに物体が含まれる場合、該物体と前記撮像装置との位置関係を示す情報を生成し、
前記情報と、記憶部に記憶された前記物体と前記撮像装置との位置関係を示す情報とに基づき、前記撮像装置が生成した画像データを、前記記憶部に記憶された前記位置関係で撮影された画像データへ変換し、
前記変換された画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記変換された画像データに含まれる前記物体の位置に応じて重畳表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。 - 撮像装置が生成した第1の画像データを取得し、
前記第1の画像データに所定の物体が含まれる場合、該物体と前記撮像装置との第1の位置関係を示す第1の情報を生成し、
撮像装置が生成した第2の画像データに前記物体が含まれる場合、該物体と前記撮像装置との第2の位置関係を示す第2の情報を生成し、
前記第1の情報及び前記第2の情報に基づき、前記第2の画像データを、前記第1の位置関係で撮影された画像に対応する第3の画像データへ変換し、
前記第3の画像データに前記物体が含まれる場合、前記第3の画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記第3の画像データに含まれる前記物体の位置に応じて重畳表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。 - 前記第1の情報に含まれる前記物体の回転角情報と、前記第2の情報に含まれる前記物体の回転角情報との差分を算出し、
算出した前記差分に基づいて、前記第2の画像データを、前記第3の画像データへ変換することを特徴とする請求項2に記載の表示制御方法。 - 前記第1の画像データに前記物体が複数存在する場合、又は前記第2の画像データに前記物体が複数存在する場合に、それぞれの画像データから得られる前記第1の情報又は前記第2の情報の平均値を用いて、前記第2の画像データを、前記第3の画像データへ変換することを特徴とする請求項2又は3に記載の表示制御方法。
- 前記第2の画像データに前記物体が複数存在する場合に、ユーザから選択された前記物体に対応する前記第2の情報を用いて、前記第2の画像データを、前記第3の画像データへ変換することを特徴とする請求項2又は3に記載の表示制御方法。
- 撮像装置が生成した画像データに物体が含まれる場合、該物体と前記撮像装置との位置関係を示す情報を生成し、
前記情報と、記憶部に記憶された前記物体と前記撮像装置との位置関係を示す情報とに基づき、前記撮像装置が生成した画像データを、前記記憶部に記憶された前記位置関係で撮影された画像データへ変換し、
前記変換された画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記変換された画像データに含まれる前記物体の位置に応じて重畳表示する、
処理をコンピュータに実行させるための表示制御プログラム。 - 撮像装置が生成した画像データに物体が含まれる場合、該物体と前記撮像装置との位置関係を示す情報を生成する位置関係生成部と、
前記情報と、記憶部に記憶された前記物体と前記撮像装置との位置関係を示す情報とに基づき、前記撮像装置が生成した画像データを、前記記憶部に記憶された前記位置関係で撮影された画像データへ変換する変換部と、
前記変換部により変換された画像データに対し、前記物体の識別情報に対応するオブジェクトデータを、前記変換された画像データに含まれる前記物体の位置に応じて重畳表示するコンテンツ生成部と、
を有することを特徴とする情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015038655A JP6524706B2 (ja) | 2015-02-27 | 2015-02-27 | 表示制御方法、表示制御プログラム、及び情報処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015038655A JP6524706B2 (ja) | 2015-02-27 | 2015-02-27 | 表示制御方法、表示制御プログラム、及び情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016162079A true JP2016162079A (ja) | 2016-09-05 |
JP6524706B2 JP6524706B2 (ja) | 2019-06-05 |
Family
ID=56845001
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015038655A Expired - Fee Related JP6524706B2 (ja) | 2015-02-27 | 2015-02-27 | 表示制御方法、表示制御プログラム、及び情報処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6524706B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019012342A (ja) * | 2017-06-29 | 2019-01-24 | ファナック株式会社 | 仮想オブジェクト表示システム |
JP2020166741A (ja) * | 2019-03-29 | 2020-10-08 | スターティアラボ株式会社 | Ar用の画像処理装置、画像処理システム及びプログラム |
US11199828B2 (en) | 2018-06-05 | 2021-12-14 | Fanuc Corporation | Virtual object display system |
JP6982659B1 (ja) * | 2020-06-26 | 2021-12-17 | 株式会社ドワンゴ | サーバ、端末、配信システム、配信方法、および情報処理方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011148595A1 (ja) * | 2010-05-26 | 2011-12-01 | 日本電気株式会社 | 画像処理装置、画像処理方法および画像処理用プログラム |
JP2015022737A (ja) * | 2013-07-24 | 2015-02-02 | 富士通株式会社 | 情報処理装置、情報提供方法および情報提供プログラム |
-
2015
- 2015-02-27 JP JP2015038655A patent/JP6524706B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011148595A1 (ja) * | 2010-05-26 | 2011-12-01 | 日本電気株式会社 | 画像処理装置、画像処理方法および画像処理用プログラム |
JP2015022737A (ja) * | 2013-07-24 | 2015-02-02 | 富士通株式会社 | 情報処理装置、情報提供方法および情報提供プログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019012342A (ja) * | 2017-06-29 | 2019-01-24 | ファナック株式会社 | 仮想オブジェクト表示システム |
US11199828B2 (en) | 2018-06-05 | 2021-12-14 | Fanuc Corporation | Virtual object display system |
JP2020166741A (ja) * | 2019-03-29 | 2020-10-08 | スターティアラボ株式会社 | Ar用の画像処理装置、画像処理システム及びプログラム |
JP6982659B1 (ja) * | 2020-06-26 | 2021-12-17 | 株式会社ドワンゴ | サーバ、端末、配信システム、配信方法、および情報処理方法 |
JP2022020079A (ja) * | 2020-06-26 | 2022-02-01 | 株式会社ドワンゴ | サーバ、端末、配信システム、配信方法、および情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6524706B2 (ja) | 2019-06-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2017203098B2 (en) | Information processing system and display control method | |
US10163266B2 (en) | Terminal control method, image generating method, and terminal | |
JP6344029B2 (ja) | 表示方法、表示プログラム、及び表示装置 | |
JP6424601B2 (ja) | 表示制御方法、情報処理プログラム、及び情報処理装置 | |
JP6421670B2 (ja) | 表示制御方法、表示制御プログラム、及び情報処理装置 | |
JP6217437B2 (ja) | 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム | |
JP6077068B1 (ja) | 拡張現実システム、および拡張現実方法 | |
WO2019205851A1 (zh) | 位姿确定方法、装置、智能设备及存储介质 | |
JP6244954B2 (ja) | 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム | |
US20160012612A1 (en) | Display control method and system | |
US11609345B2 (en) | System and method to determine positioning in a virtual coordinate system | |
JP2021520540A (ja) | カメラの位置決め方法および装置、端末並びにコンピュータプログラム | |
JP6524706B2 (ja) | 表示制御方法、表示制御プログラム、及び情報処理装置 | |
CN110784370B (zh) | 设备测试的方法、装置、电子设备及介质 | |
JP6543924B2 (ja) | 情報処理方法、情報処理プログラム、及び情報処理装置 | |
US20160284130A1 (en) | Display control method and information processing apparatus | |
WO2022199102A1 (zh) | 图像处理方法及装置 | |
JP6413521B2 (ja) | 表示制御方法、情報処理プログラム、及び情報処理装置 | |
CN110213205B (zh) | 验证方法、装置及设备 | |
JP6308842B2 (ja) | 表示システム及びプログラム | |
JP6374203B2 (ja) | 表示システム及びプログラム | |
JP6447251B2 (ja) | 情報処理装置、表示制御方法、及び表示制御プログラム | |
JP2016051449A (ja) | 携帯端末装置および表示システム | |
CN114856527A (zh) | 丛式井中井口间距的确定方法、装置及计算机存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190318 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190409 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190422 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6524706 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |