JP2017162192A - 画像処理プログラム、画像処理装置、画像処理システム、及び画像処理方法 - Google Patents
画像処理プログラム、画像処理装置、画像処理システム、及び画像処理方法 Download PDFInfo
- Publication number
- JP2017162192A JP2017162192A JP2016046100A JP2016046100A JP2017162192A JP 2017162192 A JP2017162192 A JP 2017162192A JP 2016046100 A JP2016046100 A JP 2016046100A JP 2016046100 A JP2016046100 A JP 2016046100A JP 2017162192 A JP2017162192 A JP 2017162192A
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- space
- image processing
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
Description
(1)コンピュータは、撮像装置が撮影した撮影画像内の複数の領域それぞれから、撮影画像に埋め込まれた埋め込み情報を検出する。
(2)コンピュータは、埋め込み情報と、撮影画像に写る空間内の位置を示す位置情報とを対応付けて記憶する記憶部を参照して、複数の領域それぞれから検出した埋め込み情報に対応する空間内の位置を推定する。
(3)コンピュータは、推定した空間内の位置に基づいて、空間内の撮像装置の位置を特定する。
図1は、プロジェクションマッピングにおいてARコンテンツを重畳した映像の例を示している。映像102が投影される立体物が部屋である場合、プロジェクタ101は、部屋の天井、壁、及び床に対して映像102を投影し、ユーザは、スマートデバイスに搭載されたカメラで映像102を撮影する。そして、スマートデバイスは、撮影した映像102にARコンテンツのオブジェクト111〜オブジェクト113を重畳した映像103を、画面上に表示する。
(a)スマートデバイスを魔法のレンズ、カメラ等に見立て、スマートデバイスを通して映像を見た場合にのみ、特定のオブジェクトが表示される。特定のオブジェクトは、昆虫又は動物であってもよく、妖精又は妖怪であってもよい。
(b)ARコンテンツをゲームコンテンツ等と連動させ、ゲームのデータに応じて表示するオブジェクトを変更する。
(c)ARコンテンツが、ユーザの保有するキャラクタ又はアバタとして表示される。
(d)ARコンテンツとして表示されたエージェントが、ユーザの現在位置に応じて道案内を行う。
(e)映像中の各領域に、天井、壁、又は床のような位置情報を示すARコンテンツを表示する。
(付記1)
撮像装置が撮影した撮影画像内の複数の領域それぞれから、前記撮影画像に埋め込まれた埋め込み情報を検出し、
前記埋め込み情報と、前記撮影画像に写る空間内の位置を示す位置情報とを対応付けて記憶する記憶部を参照して、前記複数の領域それぞれから検出した前記埋め込み情報に対応する前記空間内の位置を推定し、
推定した前記空間内の前記位置に基づいて、前記空間内の前記撮像装置の位置を特定する、
処理をコンピュータに実行させる画像処理プログラム。
(付記2)
前記画像処理プログラムは、
特定した前記撮像装置の前記位置に基づいて、前記撮影画像内の所定位置に表示する画像情報を生成し、
前記撮影画像と生成した前記画像情報とを重畳表示する表示情報を生成する、
処理を前記コンピュータにさらに実行させることを特徴とする付記1記載の画像処理プログラム。
(付記3)
前記コンピュータは、推定した前記空間内の前記位置に基づいて、前記空間内の前記撮像装置の撮影方向をさらに特定し、前記空間内に表示する物体の画像を、前記撮像装置の前記位置と前記撮影方向とを用いて前記画像情報に変換することを特徴とする付記2記載の画像処理プログラム。
(付記4)
前記コンピュータは、前記複数の領域のうち第1領域から検出した前記埋め込み情報と、前記第1領域に隣接する第2領域から検出した前記埋め込み情報とを比較した結果に基づいて、前記第1領域と前記第2領域との間に境界を設定し、設定した前記境界に基づいて前記空間内の面を推定し、前記空間内の前記面を前記空間内の前記位置として用いることを特徴とする付記1乃至3のいずれか1項に記載の画像処理プログラム。
(付記5)
撮像装置が撮影した撮影画像に埋め込まれた埋め込み情報と、前記撮影画像に写る空間内の位置を示す位置情報とを対応付けて記憶する記憶部と、
前記撮影画像内の複数の領域それぞれから前記埋め込み情報を検出する検出部と、
前記記憶部を参照して、前記検出部が前記複数の領域それぞれから検出した前記埋め込み情報に対応する前記空間内の位置を推定し、推定した前記空間内の前記位置に基づいて、前記空間内の前記撮像装置の位置を特定する特定部と、
を備えることを特徴とする画像処理装置。
(付記6)
前記特定部が特定した前記撮像装置の前記位置に基づいて、前記撮影画像内の所定位置に表示する画像情報を生成し、前記撮影画像と生成した前記画像情報とを重畳表示する表示情報を生成する生成部をさらに備えることを特徴とする付記5記載の画像処理装置。
(付記7)
前記特定部は、推定した前記空間内の前記位置に基づいて、前記空間内の前記撮像装置の撮影方向をさらに特定し、前記生成部は、前記空間内に表示する物体の画像を、前記撮像装置の前記位置と前記撮影方向とを用いて前記画像情報に変換することを特徴とする付記6記載の画像処理装置。
(付記8)
前記特定部は、前記複数の領域のうち第1領域から検出した前記埋め込み情報と、前記第1領域に隣接する第2領域から検出した前記埋め込み情報とを比較した結果に基づいて、前記第1領域と前記第2領域との間に境界を設定し、設定した前記境界に基づいて前記空間内の面を推定し、前記空間内の前記面を前記空間内の前記位置として用いることを特徴とする付記5乃至7のいずれか1項に記載の画像処理装置。
(付記9)
情報埋め込み装置と画像処理装置とを備える画像処理システムであって、
前記情報埋め込み装置は、
埋め込み情報と、空間内の位置を示す位置情報とを対応付けて記憶する第1記憶部と、
前記第1記憶部を参照して、前記空間を表す空間情報に、前記埋め込み情報を表す信号を重畳する埋め込み部とを含み、
前記画像処理装置は、
前記埋め込み情報と前記位置情報とを対応付けて記憶する第2記憶部と、
前記信号が重畳された前記空間情報を含む光を用いて撮像装置が撮影した撮影画像内の複数の領域それぞれから、前記信号が表す前記埋め込み情報を検出する検出部と、
前記第2記憶部を参照して、前記検出部が前記複数の領域それぞれから検出した前記埋め込み情報に対応する前記空間内の位置を推定し、推定した前記空間内の前記位置に基づいて、前記空間内の前記撮像装置の位置を特定する特定部とを含むことを特徴とする画像処理システム。
(付記10)
前記光は、前記空間情報を含む映像であり、前記情報埋め込み装置は、前記信号が重畳された前記映像を被投影領域に対して投影する投影装置をさらに含み、前記撮像装置は、前記投影装置が前記被投影領域に対して投影した前記映像を撮影し、前記撮影画像は、前記撮像装置が撮影した前記映像に含まれることを特徴とする付記記載の画像処理システム。
(付記11)
前記情報埋め込み装置は、前記光を出力する発光装置をさらに含み、前記撮像装置は、前記発光装置が出力した前記光を撮影することを特徴とする付記記載の画像処理システム。
(付記12)
コンピュータが、
撮像装置が撮影した撮影画像内の複数の領域それぞれから、前記撮影画像に埋め込まれた埋め込み情報を検出し、
前記埋め込み情報と、前記撮影画像に写る空間内の位置を示す位置情報とを対応付けて記憶する記憶部を参照して、前記複数の領域それぞれから検出した前記埋め込み情報に対応する前記空間内の位置を推定し、
推定した前記空間内の前記位置に基づいて、前記空間内の前記撮像装置の位置を特定する、
ことを特徴とする画像処理方法。
(付記13)
前記コンピュータは、さらに、
特定した前記撮像装置の前記位置に基づいて、前記撮影画像内の所定位置に表示する画像情報を生成し、
前記撮影画像と生成した前記画像情報とを重畳表示する表示情報を生成する、
ことを特徴とする付記12記載の画像処理方法。
(付記14)
前記コンピュータは、推定した前記空間内の前記位置に基づいて、前記空間内の前記撮像装置の撮影方向をさらに特定し、前記空間内に表示する物体の画像を、前記撮像装置の前記位置と前記撮影方向とを用いて前記画像情報に変換することを特徴とする付記13記載の画像処理方法。
(付記15)
前記コンピュータは、前記複数の領域のうち第1領域から検出した前記埋め込み情報と、前記第1領域に隣接する第2領域から検出した前記埋め込み情報とを比較した結果に基づいて、前記第1領域と前記第2領域との間に境界を設定し、設定した前記境界に基づいて前記空間内の面を推定し、前記空間内の前記面を前記空間内の前記位置として用いることを特徴とする付記12乃至14のいずれか1項に記載の画像処理方法。
102、103 映像
111〜113 オブジェクト
201、1901 画像処理装置
211、414、2122、2312、2513 記憶部
212 検出部
213 特定部
401、1801、2101、2301、2501 情報埋め込み装置
411、2111 制御装置
412 投影装置
413、2121、2311、2511 埋め込み部
421、451、2131 立体構造情報
422、452 映像
431 撮像装置
432 生成部
433 表示部
441 領域推定部
442 位置特定部
453 オブジェクト映像
454 AR映像
601〜603 部分領域
701、702、1201 面IDマップ
1211〜1216 領域
1221〜1223、1403〜1407、1501〜1506 境界点
1401、1402 端点
1411 折れ線
1412〜1415 直線
1601 点
1602 視線ベクトル
1701 画像
1711〜1714 メッシュ領域
1911 映像入力部
2001、2112 発光装置
2002 発光素子
2011〜2014 領域
2141、2512 制御部
2142 発光部
2701 CPU
2702 メモリ
2703 入力装置
2704 出力装置
2705 補助記憶装置
2706 媒体駆動装置
2707 ネットワーク接続装置
2708 バス
2709 可搬型記録媒体
Claims (9)
- 撮像装置が撮影した撮影画像内の複数の領域それぞれから、前記撮影画像に埋め込まれた埋め込み情報を検出し、
前記埋め込み情報と、前記撮影画像に写る空間内の位置を示す位置情報とを対応付けて記憶する記憶部を参照して、前記複数の領域それぞれから検出した前記埋め込み情報に対応する前記空間内の位置を推定し、
推定した前記空間内の前記位置に基づいて、前記空間内の前記撮像装置の位置を特定する、
処理をコンピュータに実行させる画像処理プログラム。 - 前記画像処理プログラムは、
特定した前記撮像装置の前記位置に基づいて、前記撮影画像内の所定位置に表示する画像情報を生成し、
前記撮影画像と生成した前記画像情報とを重畳表示する表示情報を生成する、
処理を前記コンピュータにさらに実行させることを特徴とする請求項1記載の画像処理プログラム。 - 前記コンピュータは、推定した前記空間内の前記位置に基づいて、前記空間内の前記撮像装置の撮影方向をさらに特定し、前記空間内に表示する物体の画像を、前記撮像装置の前記位置と前記撮影方向とを用いて前記画像情報に変換することを特徴とする請求項2記載の画像処理プログラム。
- 前記コンピュータは、前記複数の領域のうち第1領域から検出した前記埋め込み情報と、前記第1領域に隣接する第2領域から検出した前記埋め込み情報とを比較した結果に基づいて、前記第1領域と前記第2領域との間に境界を設定し、設定した前記境界に基づいて前記空間内の面を推定し、前記空間内の前記面を前記空間内の前記位置として用いることを特徴とする請求項1乃至3のいずれか1項に記載の画像処理プログラム。
- 撮像装置が撮影した撮影画像に埋め込まれた埋め込み情報と、前記撮影画像に写る空間内の位置を示す位置情報とを対応付けて記憶する記憶部と、
前記撮影画像内の複数の領域それぞれから前記埋め込み情報を検出する検出部と、
前記記憶部を参照して、前記検出部が前記複数の領域それぞれから検出した前記埋め込み情報に対応する前記空間内の位置を推定し、推定した前記空間内の前記位置に基づいて、前記空間内の前記撮像装置の位置を特定する特定部と、
を備えることを特徴とする画像処理装置。 - 情報埋め込み装置と画像処理装置とを備える画像処理システムであって、
前記情報埋め込み装置は、
埋め込み情報と、空間内の位置を示す位置情報とを対応付けて記憶する第1記憶部と、
前記第1記憶部を参照して、前記空間を表す空間情報に、前記埋め込み情報を表す信号を重畳する埋め込み部とを含み、
前記画像処理装置は、
前記埋め込み情報と前記位置情報とを対応付けて記憶する第2記憶部と、
前記信号が重畳された前記空間情報を含む光を用いて撮像装置が撮影した撮影画像内の複数の領域それぞれから、前記信号が表す前記埋め込み情報を検出する検出部と、
前記第2記憶部を参照して、前記検出部が前記複数の領域それぞれから検出した前記埋め込み情報に対応する前記空間内の位置を推定し、推定した前記空間内の前記位置に基づいて、前記空間内の前記撮像装置の位置を特定する特定部とを含むことを特徴とする画像処理システム。 - 前記光は、前記空間情報を含む映像であり、前記情報埋め込み装置は、前記信号が重畳された前記映像を被投影領域に対して投影する投影装置をさらに含み、前記撮像装置は、前記投影装置が前記被投影領域に対して投影した前記映像を撮影し、前記撮影画像は、前記撮像装置が撮影した前記映像に含まれることを特徴とする請求項6記載の画像処理システム。
- 前記情報埋め込み装置は、前記光を出力する発光装置をさらに含み、前記撮像装置は、前記発光装置が出力した前記光を撮影することを特徴とする請求項6記載の画像処理システム。
- コンピュータが、
撮像装置が撮影した撮影画像内の複数の領域それぞれから、前記撮影画像に埋め込まれた埋め込み情報を検出し、
前記埋め込み情報と、前記撮影画像に写る空間内の位置を示す位置情報とを対応付けて記憶する記憶部を参照して、前記複数の領域それぞれから検出した前記埋め込み情報に対応する前記空間内の位置を推定し、
推定した前記空間内の前記位置に基づいて、前記空間内の前記撮像装置の位置を特定する、
ことを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016046100A JP6763154B2 (ja) | 2016-03-09 | 2016-03-09 | 画像処理プログラム、画像処理装置、画像処理システム、及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016046100A JP6763154B2 (ja) | 2016-03-09 | 2016-03-09 | 画像処理プログラム、画像処理装置、画像処理システム、及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017162192A true JP2017162192A (ja) | 2017-09-14 |
JP6763154B2 JP6763154B2 (ja) | 2020-09-30 |
Family
ID=59857127
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016046100A Active JP6763154B2 (ja) | 2016-03-09 | 2016-03-09 | 画像処理プログラム、画像処理装置、画像処理システム、及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6763154B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019139424A (ja) * | 2018-02-08 | 2019-08-22 | 株式会社バンダイナムコスタジオ | シミュレーションシステム及びプログラム |
JP2021532447A (ja) * | 2018-08-09 | 2021-11-25 | 北京微播視界科技有限公司Beijing Microlive Vision Technology Co., Ltd | 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006099188A (ja) * | 2004-09-28 | 2006-04-13 | Canon Inc | 情報処理方法および装置 |
JP2009087176A (ja) * | 2007-10-02 | 2009-04-23 | Casio Comput Co Ltd | オブジェクト生成システム、オブジェクト生成装置、及び、オブジェクト生成プログラム |
JP2015038696A (ja) * | 2013-08-19 | 2015-02-26 | 国立大学法人佐賀大学 | 拡張現実装置、拡張現実方法及び拡張現実プログラム |
JP2015173431A (ja) * | 2014-02-18 | 2015-10-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 投影システムおよび半導体集積回路 |
-
2016
- 2016-03-09 JP JP2016046100A patent/JP6763154B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006099188A (ja) * | 2004-09-28 | 2006-04-13 | Canon Inc | 情報処理方法および装置 |
JP2009087176A (ja) * | 2007-10-02 | 2009-04-23 | Casio Comput Co Ltd | オブジェクト生成システム、オブジェクト生成装置、及び、オブジェクト生成プログラム |
JP2015038696A (ja) * | 2013-08-19 | 2015-02-26 | 国立大学法人佐賀大学 | 拡張現実装置、拡張現実方法及び拡張現実プログラム |
JP2015173431A (ja) * | 2014-02-18 | 2015-10-01 | パナソニック インテレクチュアル プロパティ コーポレーション オブアメリカPanasonic Intellectual Property Corporation of America | 投影システムおよび半導体集積回路 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019139424A (ja) * | 2018-02-08 | 2019-08-22 | 株式会社バンダイナムコスタジオ | シミュレーションシステム及びプログラム |
JP7144796B2 (ja) | 2018-02-08 | 2022-09-30 | 株式会社バンダイナムコ研究所 | シミュレーションシステム及びプログラム |
JP2021532447A (ja) * | 2018-08-09 | 2021-11-25 | 北京微播視界科技有限公司Beijing Microlive Vision Technology Co., Ltd | 拡張現実によるモデル動画多平面インタラクション方法、装置、デバイス及び記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP6763154B2 (ja) | 2020-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113412614B (zh) | 使用深度图像的三维定位 | |
JP6934887B2 (ja) | 単眼カメラを用いたリアルタイム3d捕捉およびライブフィードバックのための方法およびシステム | |
JP6088094B1 (ja) | 複合現実環境を作成するためのシステム等 | |
JP6258953B2 (ja) | 単眼視覚slamのための高速初期化 | |
TWI574223B (zh) | 運用擴增實境技術之導航系統 | |
JP4804256B2 (ja) | 情報処理方法 | |
JP6674192B2 (ja) | 画像処理装置と画像処理方法 | |
JP6009502B2 (ja) | 情報処理装置および情報処理方法 | |
JP2016218905A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JPWO2016181687A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
KR20150130483A (ko) | 평면의 자연스러운 특성 타겟들의 인시츄 생성 | |
JP6640294B1 (ja) | 複合現実システム、プログラム、携帯端末装置、及び方法 | |
US10970932B2 (en) | Provision of virtual reality content | |
CN113474816A (zh) | 弹性动态投影映射系统和方法 | |
KR20180120456A (ko) | 파노라마 영상을 기반으로 가상현실 콘텐츠를 제공하는 장치 및 그 방법 | |
US11430178B2 (en) | Three-dimensional video processing | |
JP6763154B2 (ja) | 画像処理プログラム、画像処理装置、画像処理システム、及び画像処理方法 | |
JP2014529823A (ja) | グラフマッチングおよびサイクル検出による自動モデル初期化を用いた線トラッキング | |
CN113228117B (zh) | 创作装置、创作方法和记录有创作程序的记录介质 | |
JP6393000B2 (ja) | 3dマップに関する仮説的ラインマッピングおよび検証 | |
JP2008203991A (ja) | 画像処理装置 | |
JP2017184025A (ja) | 通信端末、画像通信システム、画像送信方法、画像表示方法、及びプログラム | |
WO2024095744A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP2020057430A (ja) | 複合現実システム、プログラム、携帯端末装置、及び方法 | |
JP2015046040A (ja) | 画像変換装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191224 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200220 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20200220 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20200220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200512 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200707 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200811 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200824 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6763154 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |