JP6570161B1 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法、及び画像処理プログラム Download PDFInfo
- Publication number
- JP6570161B1 JP6570161B1 JP2019523897A JP2019523897A JP6570161B1 JP 6570161 B1 JP6570161 B1 JP 6570161B1 JP 2019523897 A JP2019523897 A JP 2019523897A JP 2019523897 A JP2019523897 A JP 2019523897A JP 6570161 B1 JP6570161 B1 JP 6570161B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- background image
- image processing
- layer
- real estate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 99
- 238000003672 processing method Methods 0.000 title claims description 14
- 238000009877 rendering Methods 0.000 claims description 18
- 230000002194 synthesizing effect Effects 0.000 claims description 12
- 239000000203 mixture Substances 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000000034 method Methods 0.000 description 35
- 238000007726 management method Methods 0.000 description 29
- 239000002131 composite material Substances 0.000 description 23
- 238000010586 diagram Methods 0.000 description 22
- 238000013500 data storage Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 15
- 238000004364 calculation method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 235000006810 Caesalpinia ciliata Nutrition 0.000 description 1
- 241000059739 Caesalpinia ciliata Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- RJMUSRYZPJIFPJ-UHFFFAOYSA-N niclosamide Chemical compound OC1=CC=C(Cl)C=C1C(=O)NC1=CC=C([N+]([O-])=O)C=C1Cl RJMUSRYZPJIFPJ-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
Abstract
Description
以下、本発明の実施形態に係る画像処理装置について、詳細に説明する。
図1は、本発明の第1の実施形態に係る画像処理装置の概略構成を示すブロック図である。図2A及び図2Bは、図1に示す画像処理装置が実行する画像合成処理を説明するための模式図である。このうち、図2Aは、不動産物件の間取図を示す。また、図2Bは、該不動産物件のリビングルーム(図2A参照)において撮影を行うことにより取得した背景画像(天球画像)に、ソファ及びローテーブル、タンス、並びに絵の3Dモデルを合成した画像の一部を示す。図2Bに示すように、ソファ及びローテーブル、タンス、並びに絵の各オブジェクトは、配置に応じた奥行き感が再現されているため、あたかもリビングルームに各オブジェクトを実際に配置して撮影を行ったかのように、背景画像に対して違和感なく表示されている。
背景画像データ記憶部142は、不動産物件を撮影することにより背景画像として取得された天球画像の画像データ(以下、背景画像データともいう)を記憶する。
間取図データ記憶部143は、不動産物件の間取図の画像データ(以下、間取図データともいう)を記憶する。
本実施形態における画像処理の概要は以下のとおりである。即ち、合成対象の背景画像(天球画像)と、影用の透明な天球画像のレイヤー(影レイヤー)と、家具等のオブジェクトの3Dモデル用の透明な天球画像のレイヤー(オブジェクトレイヤー)との、計3層の天球画像を用意する。背景画像は、不動産物件の現場で全天球カメラなどを用いて撮影を行うことにより取得されたものである。なお、背景画像に重ねるレイヤーは上記2つのレイヤーに加え、適宜増やしても良い。
このようにして3Dモデルの位置が推定されると、処理はメインルーチンに戻る。
次に、本発明の第2の実施形態について説明する。
本発明の第2の実施形態に係る画像処理装置の構成は全体として第1の実施形態(図1参照)と同様であり、3D位置推定部152が実行する3Dモデルの位置推定処理(図3のステップS13参照)が第1の実施形態と異なる。
d1=h/tanα …(1)
x4=d1・sin(β/2) …(2)
その後、処理はメインルーチンに戻る。
次に、第3の実施形態について説明する。
本発明の第3の実施形態に係る画像処理装置の構成は全体として第1の実施形態(図1参照)と同様であり、3D位置推定部152が実行する3Dモデルの位置推定処理が、第1の実施形態と異なる。
上記第3の実施形態においては、被写体の距離及び寸法を背景画像から計測することとしたが(ステップS31参照)、距離及び寸法を撮影時に実測しても良い。詳細には、全天球カメラやスマートフォンに、距離計測用の補助ツールを取り付け、或いは、専用のアプリケーションを実行させて不動産物件の撮影を行うことにより、被写体まで距離や被写体の寸法を実測し、実測データを画像データに関連付けて保存しておく。この場合、不動産物件に対応する3D空間をより正確に再現することが可能となる。
画像管理サーバ41は、システム2において用いられる画像を管理する。
10 画像処理装置
11 通信インタフェース
12 表示部
13 操作入力部
14 記憶部
15 プロセッサ
20 全天球カメラ
21 参照オブジェクト
30 画像処理装置(サーバ)
31 不動産管理端末
32 オブジェクト管理端末
33 画像表示端末
40 画像処理装置(エディタ)
41 画像管理サーバ
42 オブジェクト管理装置
43 コンバータ
44 サービス管理装置
45 画像表示端末
141 プログラム記憶部
142 背景画像データ記憶部
143 間取図データ記憶部
144 3Dデータ記憶部
145 合成画像データ記憶部
150 画像処理部
151 配置設定部
152 3D位置推定部
153 オブジェクトレイヤー生成部
154 影生成部
155 影レイヤー生成部
156 画像合成部
Claims (9)
- 不動産物件が写った背景画像に対し、前記不動産物件に仮想的に配置されるオブジェクトの画像を合成する画像処理装置であって、
前記不動産物件の間取図上における前記オブジェクトの配置箇所を設定する配置設定部と、
前記不動産物件を撮影することにより背景画像として取得された天球画像によって囲まれる3次元グラフィックス空間において、前記間取図上における前記オブジェクトの配置箇所に対応する位置であるオブジェクト位置を推定する3D位置推定部と、
前記オブジェクト位置に前記オブジェクトの3次元モデルを配置することによって生じる影を生成する影生成部と、
前記3次元グラフィックス空間の中心を投影中心として、前記オブジェクト位置に配置された前記3次元モデルを前記背景画像と同じ天球面上に投影した像をレンダリングすることにより、第1のレイヤーを生成するオブジェクトレイヤー生成部と、
前記3次元グラフィックス空間の中心を投影中心として、前記影を前記天球面上に投影した像をレンダリングすることにより、第2のレイヤーを生成する影レイヤー生成部と、
前記背景画像に前記第2のレイヤー及び前記第1のレイヤーを合成する画像合成部と、
を備える画像処理装置。 - 前記間取図の画像を表示する表示部と、
ユーザによりなされる操作を受け付ける操作入力部と、
をさらに備え、
前記配置設定部は、前記操作入力部が受け付けた、前記表示部に表示された前記間取図の画像に対する操作に基づいて、前記配置箇所を設定する、請求項1に記載の画像処理装置。 - 前記影生成部は、前記背景画像に基づいて光源を設定し、該光源に基づいて前記3次元モデルの影を生成する、請求項1又は2に記載の画像処理装置。
- 前記3D位置推定部は、前記間取図における各部の寸法に基づいて、前記オブジェクト位置を推定する、請求項1〜3のいずれか1項に記載の画像処理装置。
- 前記3D位置推定部は、前記配置箇所の近傍に位置する被写体の距離及び寸法に基づいて、前記オブジェクト位置を推定する、請求項1〜3のいずれか1項に記載の画像処理装置。
- 前記3D位置推定部は、前記背景画像から計測された被写体の距離及び寸法に基づいて撮影点を取得し、該撮影点に基づいて前記オブジェクト位置を推定する、請求項1〜3のいずれか1項に記載の画像処理装置。
- 前記3D位置推定部は、実測された被写体の距離及び寸法に基づいて撮影点を取得し、該撮影点に基づいて前記オブジェクト位置を推定する、請求項1〜3のいずれか1項に記載の画像処理装置。
- 不動産物件が写った背景画像に対し、前記不動産物件に仮想的に配置されるオブジェクトの画像を合成する画像処理方法であって、
前記不動産物件の間取図上における前記オブジェクトの配置箇所を設定するステップと、
前記不動産物件を撮影することにより背景画像として取得された天球画像によって囲まれる3次元グラフィックス空間において、前記間取図上における前記オブジェクトの配置箇所に対応する位置であるオブジェクト位置を推定するステップと、
前記オブジェクト位置に前記オブジェクトの3次元モデルを配置することによって生じる影を生成するステップと、
前記3次元グラフィックス空間の中心を投影中心として、前記オブジェクト位置に配置された前記3次元モデルを前記背景画像と同じ天球面上に投影した像をレンダリングすることにより、第1のレイヤーを生成するステップと、
前記3次元グラフィックス空間の中心を投影中心として、前記影を前記天球面上に投影した像をレンダリングすることにより、第2のレイヤーを生成するステップと、
前記背景画像に前記第2のレイヤー及び前記第1のレイヤーを合成するステップと、
を含む画像処理方法。 - 不動産物件が写った背景画像に対し、前記不動産物件に仮想的に配置されるオブジェクトの画像を合成する画像処理プログラムであって、
前記不動産物件の間取図上における前記オブジェクトの配置箇所を設定するステップと、
前記不動産物件を撮影することにより背景画像として取得された天球画像によって囲まれる3次元グラフィックス空間において、前記間取図上における前記オブジェクトの配置箇所に対応する位置であるオブジェクト位置を推定するステップと、
前記オブジェクト位置に前記オブジェクトの3次元モデルを配置することによって生じる影を生成するステップと、
前記3次元グラフィックス空間の中心を投影中心として、前記オブジェクト位置に配置された前記3次元モデルを前記背景画像と同じ天球面上に投影した像をレンダリングすることにより、第1のレイヤーを生成するステップと、
前記3次元グラフィックス空間の中心を投影中心として、前記影を前記天球面上に投影した像をレンダリングすることにより、第2のレイヤーを生成するステップと、
前記背景画像に前記第2のレイヤー及び前記第1のレイヤーを合成するステップと、
をコンピュータに実行させる画像処理プログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017213359 | 2017-11-04 | ||
JP2017213359 | 2017-11-04 | ||
JP2018044281 | 2018-03-12 | ||
JP2018044281 | 2018-03-12 | ||
PCT/JP2018/040919 WO2019088273A1 (ja) | 2017-11-04 | 2018-11-02 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6570161B1 true JP6570161B1 (ja) | 2019-09-04 |
JPWO2019088273A1 JPWO2019088273A1 (ja) | 2019-11-14 |
Family
ID=66331929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019523897A Active JP6570161B1 (ja) | 2017-11-04 | 2018-11-02 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6570161B1 (ja) |
WO (1) | WO2019088273A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022077148A (ja) * | 2020-11-11 | 2022-05-23 | 株式会社リコー | 画像処理方法、プログラムおよび画像処理システム |
EP4319144A1 (en) | 2021-03-30 | 2024-02-07 | Gree, Inc. | Information processing system, information processing method, and information processing program |
CN113313814B (zh) * | 2021-05-20 | 2022-09-02 | 广州美术学院 | 一种基于逆向建模及ar技术的室内设计系统及方法 |
JP6961157B1 (ja) * | 2021-05-25 | 2021-11-05 | 株式会社x garden | 情報処理システム、情報処理方法及びプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006053694A (ja) * | 2004-08-10 | 2006-02-23 | Riyuukoku Univ | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 |
JP2015142320A (ja) * | 2014-01-30 | 2015-08-03 | 株式会社バンダイナムコエンターテインメント | 撮影印刷システム、サーバシステム及びプログラム |
JP2017146762A (ja) * | 2016-02-17 | 2017-08-24 | 株式会社Acw−Deep | 画像表示型シミュレーションサービス提供システム及び画像表示型シミュレーションサービス提供方法 |
WO2017171005A1 (ja) * | 2016-04-01 | 2017-10-05 | 株式会社wise | 3dグラフィック生成、人工知能の検証・学習システム、プログラム及び方法 |
-
2018
- 2018-11-02 WO PCT/JP2018/040919 patent/WO2019088273A1/ja active Application Filing
- 2018-11-02 JP JP2019523897A patent/JP6570161B1/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006053694A (ja) * | 2004-08-10 | 2006-02-23 | Riyuukoku Univ | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 |
JP2015142320A (ja) * | 2014-01-30 | 2015-08-03 | 株式会社バンダイナムコエンターテインメント | 撮影印刷システム、サーバシステム及びプログラム |
JP2017146762A (ja) * | 2016-02-17 | 2017-08-24 | 株式会社Acw−Deep | 画像表示型シミュレーションサービス提供システム及び画像表示型シミュレーションサービス提供方法 |
WO2017171005A1 (ja) * | 2016-04-01 | 2017-10-05 | 株式会社wise | 3dグラフィック生成、人工知能の検証・学習システム、プログラム及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2019088273A1 (ja) | 2019-11-14 |
WO2019088273A1 (ja) | 2019-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10587864B2 (en) | Image processing device and method | |
JP6570161B1 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
US10873741B2 (en) | Image processing apparatus and method | |
US20240112430A1 (en) | Techniques for capturing and displaying partial motion in virtual or augmented reality scenes | |
JP4739002B2 (ja) | 画像処理方法、画像処理装置 | |
JP2023036602A (ja) | 拡張された仮想現実 | |
EP2786353B1 (en) | Methods and systems for capturing and moving 3d models and true-scale metadata of real world objects | |
JP4804256B2 (ja) | 情報処理方法 | |
JP6627861B2 (ja) | 画像処理システムおよび画像処理方法、並びにプログラム | |
US10547822B2 (en) | Image processing apparatus and method to generate high-definition viewpoint interpolation image | |
TWI505709B (zh) | 擴增實境場景中決定個體化深度資訊的系統和方法 | |
Střelák et al. | Examining user experiences in a mobile augmented reality tourist guide | |
US20160212406A1 (en) | Image processing apparatus and method | |
CN103168309A (zh) | 使用gps和dsm的2d到3d图像和视频转换 | |
JP2016006627A (ja) | 画像処理装置と画像処理方法 | |
JP2022077148A (ja) | 画像処理方法、プログラムおよび画像処理システム | |
JP2013008257A (ja) | 画像合成プログラム | |
US20150138199A1 (en) | Image generating system and image generating program product | |
JP7445348B1 (ja) | 情報処理装置、方法、プログラム、およびシステム | |
JP2005339375A (ja) | 追体験空間生成装置 | |
Ohta et al. | A photo-based augmented reality system with low computational complexity | |
Vanoni et al. | Intuitive visualization of reflectance transformation imaging for interactive analysis of cultural artifacts |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190507 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190507 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190607 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190802 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6570161 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |