JP2018180803A - Model arrangement program, model arrangement method and model arrangement device - Google Patents
Model arrangement program, model arrangement method and model arrangement device Download PDFInfo
- Publication number
- JP2018180803A JP2018180803A JP2017077491A JP2017077491A JP2018180803A JP 2018180803 A JP2018180803 A JP 2018180803A JP 2017077491 A JP2017077491 A JP 2017077491A JP 2017077491 A JP2017077491 A JP 2017077491A JP 2018180803 A JP2018180803 A JP 2018180803A
- Authority
- JP
- Japan
- Prior art keywords
- model
- interior
- room
- product
- customer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 64
- 238000012545 processing Methods 0.000 claims abstract description 57
- 238000003384 imaging method Methods 0.000 description 23
- 230000006870 function Effects 0.000 description 9
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012356 Product development Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- -1 color Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
本発明は、モデル配置プログラム、モデル配置方法、およびモデル配置装置に関する。 The present invention relates to a model placement program, a model placement method, and a model placement device.
従来、あるインテリアをある部屋に配置しようとする場合に、実際にそのインテリアをその部屋に配置して、配置した状況を確認するできない状況にあっては、インテリアおよび部屋の寸法をより正確に把握して、把握した寸法を頼りに、配置の可否を推測する。また、そのインテリアを部屋に配置した際のレイアウト感についても、感覚的に把握することができるのみである。 Conventionally, when trying to place an interior in a room, if the interior is actually placed in the room and it is not possible to check the situation, the interior and the dimensions of the room can be grasped more accurately. Then, based on the grasped dimensions, it is possible to guess the placement. In addition, it is only possible to intuitively grasp the sense of layout when the interior is arranged in a room.
一例として、インターネットなどのネットワークを利用して商品を購入するネットショッピング・システムにおいては、表示画面に表示された商品の画像(たとえば写真)と、当該商品の寸法を含む商品情報(たとえば文章や図面)による説明に基づいて、その商品の寸法などを把握し、実際に配置すべき部屋に配置した状況を想像することで、当該商品の配置の可否、ひいては、当該商品の購入の適否を決定している。 As an example, in an Internet shopping system that purchases a product using a network such as the Internet, an image (for example, a photo) of the product displayed on the display screen and product information (for example, text or drawing) including the dimensions of the product Based on the explanation by), grasp the dimensions etc. of the product, and imagine the situation where it is actually arranged in the room, decide the availability of the product and the propriety of the purchase of the product. ing.
関連する先行技術としては、可動範囲が付加された部品をイメージで表現する部品ピクチャがユーザによって間取図上に配置された配置位置に基づいて、周辺の部品とのぶつかりをチェックする技術がある(たとえば、下記特許文献1を参照。)。 As related prior art, there is a technique for checking a collision with a peripheral part based on the arrangement position where the part picture representing the part to which the movable range is added is represented by the image on the floor plan by the user. (For example, refer to the following patent document 1).
また、関連する先行技術としては、家具情報ファイル、家具画像ファイル、部屋情報ファイル、部屋画像ファイルを参照し、商品を設置する部屋のサイズと商品のサイズとの比率に応じて画像サイズを調整し、部屋を撮影した撮影方向に応じて商品画像を回転処理することによって商品画像の向きを部屋画像の撮影方向に調整して当該商品画像を部屋画像内に合成配置する技術がある(たとえば、下記特許文献2を参照。)。 Also, as related prior art, referring to a furniture information file, a furniture image file, a room information file, and a room image file, the image size is adjusted according to the ratio between the size of the room in which the product is installed and the size of the product. There is a technique of adjusting the direction of the product image in the shooting direction of the room image by subjecting the product image to rotation processing according to the shooting direction in which the room was shot, and compositing the product image in the room image (for example, See Patent Document 2).
しかしながら、従来技術では、平面的な表示とそれを補う情報によって寸法を判断しなければならず、インテリアやそのインテリアを配置する部屋の寸法やレイアウトの状況を適切に把握することができない場合がある、あるいは適切に把握するのに手間がかかるという問題点がある。 However, in the prior art, it is necessary to determine the dimensions based on the flat display and the supplementary information, and it may not be possible to appropriately grasp the interior and the size and layout of the room in which the interior is arranged. Or, there is a problem that it takes time to properly grasp.
一つの側面では、本発明は、インテリアやそのインテリアを配置する部屋の寸法あるいはレイアウトの状況を適切に把握することを目的とする。 In one aspect, the present invention aims to properly grasp the state of the size or layout of an interior and a room in which the interior is arranged.
1つの実施態様では、部屋内を撮影した複数の撮像画像に基づいて、前記複数の撮像画像に含まれるインテリアのモデルと部屋のモデルとを生成し、商品のモデルを記憶した記憶部を参照し、選択された特定の商品のモデルを、前記部屋のモデル内に配置し、前記インテリアのモデルと前記商品のモデルとのそれぞれに対して個別に移動させる操作または回転させる操作または非表示にする操作を受け付けるモデル配置プログラム、モデル配置方法およびモデル配置装置が提供される。 In one embodiment, a model of an interior and a model of a room included in the plurality of captured images are generated based on a plurality of captured images obtained by capturing the inside of a room, and a storage unit storing a model of a product is referred to. , Placing a model of the selected specific product in the model of the room, and individually moving or rotating the display of the model of the interior and the model of the product A model placement program, a model placement method, and a model placement apparatus are provided.
本発明の一側面によれば、インテリアやそのインテリアを配置する部屋の寸法あるいはレイアウトの状況を適切に把握することができる。 According to one aspect of the present invention, it is possible to appropriately grasp the size of the interior and the size or layout of the room in which the interior is arranged.
以下に図面を参照して、本発明にかかるモデル配置プログラム、モデル配置方法およびモデル配置装置の実施の形態を詳細に説明する。 Hereinafter, embodiments of a model placement program, a model placement method, and a model placement apparatus according to the present invention will be described in detail with reference to the drawings.
(実施の形態)
(ネットショッピング・システム100のシステム構成例)
図1は、実施の形態にかかるモデル配置プログラム、モデル配置方法およびモデル配置装置を実現するネットショッピング・システムのシステム構成の一例を示す説明図である。図1において、ネットショッピング・システム100は、複数の顧客端末装置101と、複数の事業者端末装置102と、顧客端末装置101および事業者端末装置102に接続されるサーバ103と、を含む構成である。
Embodiment
(System configuration example of the internet shopping system 100)
FIG. 1 is an explanatory view showing an example of a system configuration of a net shopping system for realizing a model placement program, a model placement method, and a model placement apparatus according to the embodiment. In FIG. 1, the
ネットショッピング・システム100において、サーバ103と、顧客端末装置101・事業者端末装置102は、有線または無線のネットワーク150を介して接続される。ネットワーク150は、たとえば、インターネット、移動体通信網、LAN(Local Area Network)、WAN(Wide Area Network)などであってもよい。
In the
サーバ103は、ネットショッピング・システム100の全体の制御を司るとともに、商品の検索、部屋の空間、インテリア、商品の表示処理などをおこなう。このネットショッピング・システム100は、家具などのインテリアを扱うシステムを、ネットショッピング・システムの一例として示している。
The
したがって、サーバ103は、インテリア商品に関する情報を記憶する商品マスタ110と、ネットショッピングをおこなう顧客に関する情報を記憶する顧客情報データ120、顧客の部屋に関する情報を記憶する顧客部屋データ121、顧客の部屋に配置されている顧客のインテリアに関する顧客インテリアデータ122、顧客の購入履歴に関する情報を含む購入情報データ123などの各種データベースを有する。商品マスタ110、各種データベース120〜123の記憶内容については、図7を用いて後述する。
Therefore, the
顧客端末装置101は、ネットショッピング・システム100において商品を購入する顧客が使用するコンピュータである。顧客端末装置101は、たとえば、ノートPC、デスクトップ型PC、タブレット型PC、スマートフォン、携帯電話、PHSなどである。
The
事業者端末装置102は、ネットショッピング・システム100において商品を販売する事業者が使用するコンピュータである。事業者端末装置102は、たとえば、ノートPC、デスクトップ型PC、タブレット型PC、スマートフォン、携帯電話、PHSなどである。
The business
(サーバ103のハードウェア構成例)
図2は、サーバ103のハードウェア構成の一例を示すブロック図である。図2において、サーバ103は、CPU(Central Processing Unit)201と、メモリ202と、I/F(Interface)203と、ディスクドライブ204と、ディスク205と、を有する。また、各構成部は、バス200によってそれぞれ接続される。
(Example of hardware configuration of server 103)
FIG. 2 is a block diagram showing an example of the hardware configuration of the
ここで、CPU201は、サーバ103の全体の制御を司る。メモリ202は、たとえば、ROM(Read Only Memory)、RAM(Random Access Memory)およびフラッシュROMなどを有する。具体的には、たとえば、フラッシュROMやROMが各種プログラムを記憶し、RAMがCPU201のワークエリアとして使用される。メモリ202に記憶されるプログラムは、CPU201にロードされることで、コーディングされている処理をCPU201に実行させる。
Here, the
I/F203は、通信回線を通じてネットワーク150に接続され、ネットワーク150を介して他の装置(たとえば、図1に示した顧客端末装置101・事業者端末装置102)に接続される。そして、I/F203は、ネットワーク150と自装置内部とのインターフェースを司り、他の装置からのデータの入出力を制御する。I/F203には、たとえば、モデムやLANアダプタなどを採用することができる。
The I /
ディスクドライブ204は、CPU201の制御に従ってディスク205に対するデータのリード/ライトを制御する。ディスク205は、ディスクドライブ204の制御で書き込まれたデータを記憶する。ディスク205としては、たとえば、磁気ディスク、光ディスクなどが挙げられる。
The
なお、サーバ103は、上述した構成部のほかに、たとえば、SSD(Solid State Drive)、キーボード、ポインティングデバイス、ディスプレイなどを有することにしてもよい。
The
(顧客端末装置101・事業者端末装置102のハードウェア構成例)
図3は、顧客端末装置101・事業者端末装置102のハードウェア構成の一例を示すブロック図である。図3において、顧客端末装置101・事業者端末装置102は、CPU301と、メモリ302と、I/F303と、ディスプレイ304と、カメラ305と、入力装置306と、を有する。また、各構成部はバス300によってそれぞれ接続される。
(Hardware Configuration Example of
FIG. 3 is a block diagram showing an example of the hardware configuration of the
ここで、CPU301は、顧客端末装置101・事業者端末装置102の全体の制御を司る。メモリ302は、たとえば、ROM、RAMおよびフラッシュROMなどを有する。具体的には、たとえば、フラッシュROMやROMが各種プログラムを記憶し、RAMがCPU301のワークエリアとして使用される。メモリ302に記憶されるプログラムは、CPU301にロードされることで、コーディングされている処理をCPU301に実行させる。
Here, the
I/F303は、通信回線を通じてネットワーク150に接続され、ネットワーク150を介して他の装置(たとえば、図1に示したサーバ103)に接続される。そして、I/F303は、ネットワーク150と自装置内部とのインターフェースを司り、他の装置からのデータの入出力を制御する。
The I /
ディスプレイ304は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。ディスプレイ304は、たとえば、液晶ディスプレイ、有機EL(Electroluminescence)ディスプレイなどを採用することができる。また、ディスプレイ304は、ヘッドマウントディスプレイであってもよい。
The
カメラ305は、制止画像や動画を撮影する機器である。また、3D画像が撮影できる3Dカメラであってもよい。カメラ305は、撮影専用のカメラであってもよい。その場合には、撮影専用のカメラによって撮影された撮像画像を顧客端末装置101・事業者端末装置102に取り込む。また、タブレット型PCやスマートフォンなどに内蔵されているカメラであってもよい。また、カメラ305は、3D画像を撮影する複数のカメラからなる3Dカメラシステムであってもよい。
The
入力装置306は、文字、数字、各種指示などの入力のためのキーを有し、データの入力をおこなう。入力装置306は、キーボードやポインティングデバイスなどであってもよく、また、タッチパネル式の入力パッドやテンキーなどであってもよい。
The
なお、顧客端末装置101・事業者端末装置102は、上述した構成部のほかに、加速度センサ、ジャイロセンサ、などの各種センサ、HDD(Hard Disk Drive)、SSDなどを有することにしてもよい。入力装置306として、加速度センサ、ジャイロセンサを用いて、方向や傾きなどに関する情報の入力をおこなうようにしてもよい。
The
(ネットショッピング・システムの概要)
つぎに、ネットショッピング・システム100の概要について図4を用いて説明する。図4は、ネットショッピング・システムの全体の処理の流れを示す説明図である。図4において、ネットショッピング・システム100は、インテリア販売事業者による商品データ登録に関する処理401と、新規顧客による顧客部屋データ登録に関する処理402と、既存顧客によるインテリア購入に関する処理403とから構成される。
(Overview of Internet shopping system)
Next, an outline of the
インテリア販売事業者による商品データ登録に関する処理401は事業者端末装置102およびサーバ103を用いておこなわれる。また、新規顧客による顧客部屋データ登録に関する処理402、および、既存顧客によるインテリア購入に関する処理403は、顧客端末装置101およびサーバ103を用いておこなわれる。
The
まず、インテリア販売事業者による商品データ登録に関する処理401において、インテリア販売事業者は、事業者端末装置102を用いて、商品画像ファイル411および当該商品に関する情報(商品の価格、種別などを含む)を、サーバ103の商品モデル生成部412に送る。
First, in processing 401 related to product data registration by the interior sales business, the interior sales business uses the business
商品モデル生成部412は、受け取った商品画像ファイル411に基づいて、商品モデルを生成し、生成した商品モデルに関する情報(商品モデル情報)を商品マスタ110に登録する。商品モデル生成部412による商品モデルの生成の内容についての詳細は、図5を用いて、後述する。
The product
商品モデル生成部412は、具体的には、たとえば、図2に示したメモリ202、ディスク205などの記憶装置に記憶されたプログラムをCPU201に実行させることにより、または、I/F203により、その機能を実現する。
Specifically, for example, the product
図示は省略するが、商品モデル生成部412の各処理を、事業者端末装置102によっておこない、生成された商品モデルに関する情報をサーバ103へ送るようにしてもよい。すなわち、商品モデル生成部412を、具体的には、たとえば、図3に示した事業者端末装置102のメモリ302などの記憶装置に記憶されたプログラムをCPU301に実行させることにより、または、I/F303により、その機能を実現するようにしてもよい。
Although illustration is omitted, each process of the product
つぎに、新規顧客による顧客部屋データ登録に関する処理402において、新規顧客は、顧客端末装置101を用いて、部屋画像ファイル421を、サーバ103の部屋モデル・インテリアモデル生成部422に送る。また、新規顧客は、顧客端末装置101を用いて、顧客情報をサーバ103へ送る。
Next, in processing 402 related to customer room data registration by a new customer, the new customer sends the
部屋モデル・インテリアモデル生成部422は、受け取った部屋画像ファイル421に基づいて、部屋モデルおよびインテリアモデルを生成し、生成した部屋モデルに関する情報(部屋モデル情報)を顧客部屋データのデータベース121に登録し、生成したインテリアモデルに関する情報(インテリアモデル情報)を顧客インテリアデータのデータベース122に登録する。部屋モデル・インテリアモデル生成部422による部屋モデル・インテリアモデルの生成についての詳細は、図6を用いて、後述する。
The room model / interior
部屋モデル・インテリアモデル生成部422は、具体的には、たとえば、図2に示したサーバ103のメモリ202、ディスク205などの記憶装置に記憶されたプログラムをCPU201に実行させることにより、または、I/F203により、その機能を実現する。
Specifically, for example, the room model / interior
図示は省略するが、部屋モデル・インテリアモデル生成部422の各処理を、顧客端末装置101によっておこない、生成された部屋モデル・インテリアモデルに関する情報をサーバ103へ送るようにしてもよい。すなわち、部屋モデル・インテリアモデル生成部422を、具体的には、たとえば、図3に示した顧客端末装置101のメモリ302などの記憶装置に記憶されたプログラムをCPU301に実行させることにより、または、I/F303により、その機能を実現するようにしてもよい。
Although illustration is omitted, each process of the room model / interior
また、サーバ103の顧客情報登録部423は、受け取った顧客情報を顧客情報データのデータベース120に登録する。
Further, the customer
つぎに、既存顧客(すでに新規顧客として顧客登録を済ませた顧客)によるインテリア購入に関する処理403において、既存顧客は、顧客端末装置101を用いて、顧客部屋データ登録に関する処理402において登録した情報に基づく、顧客の部屋の空間の表示指示を、部屋モデル・インテリアモデル読込部431に対しておこなう。
Next, in the
部屋モデル・インテリアモデル読込部431は、顧客部屋データのデータベース121から部屋モデル情報を、顧客インテリアデータのデータベース122からインテリア情報を、それぞれ抽出し、表示処理部432に渡す。
The room model / interior
表示処理部432は、ショッピング画面情報とともに、受け取った部屋モデル情報・インテリアモデル情報に基づいて、当該既存顧客の顧客端末装置101に表示する。また、顧客からの指示にしたがって、顧客が所望する部屋の空間を表示したり、視点を変えて表示したり、インテリアを顧客の部屋の空間に配置して表示したり、その配置位置を変更したり、非表示にしたりできるように(後述する図9、図10A、図10Bなどを参照)、顧客端末装置101のディスプレイ304における表示処理を実行するための必要な情報を顧客の顧客端末装置101へ送信する。
The
また、既存顧客は、顧客端末装置101を用いて、商品の検索指示を商品検索部433に対しておこなう。商品検索部433は、商品マスタ110を検索し、検索された商品の商品モデル情報・商品情報を商品マスタ110から抽出し、商品配置処理部434に渡す。
Further, the existing customer uses the
商品配置処理部434は、受け取った商品モデルに基づいて、顧客からの指示にしたがって、顧客の部屋の空間に当該商品を配置して表示したり、配置位置を変更したり、非表示にしたりできるように(後述する図11、図12などを参照)、必要な情報を顧客の顧客端末装置101へ送信する。また、商品配置処理部434は、ショッピング画面に受け取った商品情報を顧客端末装置101のディスプレイ304に表示できるように、必要な情報を顧客の顧客端末装置101へ送信する。
The product
表示処理部432、商品検索部433、商品配置処理部434は、具体的には、たとえば、図2に示したサーバ103のメモリ202、ディスク205などの記憶装置に記憶されたプログラムをCPU201に実行させることにより、または、I/F203により、その機能を実現する。
Specifically, the
図示は省略するが、各モデルに関する情報をサーバ103から受信し、表示処理部432、商品配置処理部434の各処理を、顧客端末装置101によっておこなうようにしてもよい。すなわち、表示処理部432、商品配置処理部434を、具体的には、たとえば、図3に示した顧客端末装置101のメモリ302などの記憶装置に記憶されたプログラムをCPU301に実行させることにより、または、I/F303、ディスプレイ304、入力装置306により、その機能を実現するようにしてもよい。
Although illustration is omitted, information on each model may be received from the
その後、既存顧客は、必要に応じて、顧客端末装置101を用いて、商品の購入指示を購入処理部435に対しておこなう。購入処理部435は、受け取った購入情報を購入情報データのデータベース123に登録する。以降、購入代金の決済処理などの各種処理が実行される。
After that, the existing customer instructs the
購入処理部435や決済処理をおこなう処理部(図示を省略する)は、具体的には、たとえば、図2に示したサーバ103のメモリ202、ディスク205などの記憶装置に記憶されたプログラムをCPU201に実行させることにより、または、I/F203により、その機能を実現する。
Specifically, for example, the
(商品モデル生成処理手順)
図5は、商品モデル生成処理手順の一例を示すフローチャートである。図5のフローチャートにおいて、商品モデル生成部412は、商品の撮像画像を取得する(ステップS501)。取得される撮像画像は、当該商品を異なる位置から異なるアングルで撮影されたものであり、複数の撮像画像が必要である。
(Product model generation processing procedure)
FIG. 5 is a flowchart showing an example of the product model generation process. In the flowchart of FIG. 5, the product
つぎに、商品モデル生成部412は、取得した複数の撮像画像から撮像モデルを作成する(ステップS502)。撮像モデルの作成は、まず、複数の撮影画像から、画像認識処理技術を用いて、商品の所定の特徴点を抽出する。商品の特徴点とは、縦方向、横方向、高さ方向における商品の終端部や、商品の形状にかかる特徴点(突出している部分や窪んでいる部分)、色彩による特徴点などである。特徴点の抽出は、取得した各撮像画像ごとにそれぞれおこなう。
Next, the product
そして、各撮像画像ごとに、抽出した特徴点の撮像画像における座標を認識する。つぎに、各撮像画像に共通する特徴点を認識し、認識した共通する特徴点の座標の差分に基づいて、当該商品の縦方向、横方向、高さ方向の寸法比や、三次元形状がわかる撮像モデルを得る。このようにして、複数の撮像画像から商品の撮像モデルを作成する。 Then, for each captured image, the coordinates in the captured image of the extracted feature point are recognized. Next, the feature point common to each captured image is recognized, and based on the difference of the coordinates of the recognized common feature point, the dimensional ratio of the product in the vertical direction, horizontal direction, height direction, and three-dimensional shape are Obtain an understood imaging model. Thus, an imaging model of a product is created from a plurality of captured images.
ここで、撮像モデルを作成するのに、撮像画像の情報が不足している場合は、撮像画像の追加が必要である旨の通知を、事業者端末装置102へ送るようにしてもよい。その際、どのような位置からどのようなアングルの撮像画像が必要かについてのコメント情報をあわせて送るようにしてもよい。
Here, when the information of the captured image is insufficient to create the captured image model, a notification may be sent to the
つぎに、商品の撮像モデルに基づいて、商品を特定する(ステップS503)。商品の特定は、撮像モデル情報、すなわち、特定された撮像モデルにかかる商品の縦方向、横方向、高さ方向の寸法や、商品の候補に関する情報との、(たとえば三次元形状などによる)マッチングによって、当該商品がどのような商品であるか(たとえば椅子なのかテーブルなのか、テーブルであればどのようなテーブルかなど)を特定する。 Next, the product is specified based on the imaging model of the product (step S503). The specification of the product is matching (for example, by a three-dimensional shape or the like) of the imaging model information, that is, the dimensions of the product according to the identified imaging model in the vertical direction, horizontal direction, height direction, and information on the product candidate. By which the item is the item (for example, a chair or a table, or a table if it is a table).
また、撮像画像とともに入力を受け付けた商品情報(商品情報に含まれる寸法情報、種別情報など)に基づいて、商品を特定するようにしてもよい。また、マッチング処理の結果および商品情報の両方に基づいて、商品を特定するようにしてもよい。また、その他の方法によって、特定された撮像モデルにかかる商品がどのような商品であるかを特定するようにしてもよい。 Further, the product may be specified based on the product information (dimension information included in the product information, type information, and the like) for which the input is received together with the captured image. Further, the product may be specified based on both the result of the matching process and the product information. In addition, another method may be used to specify what kind of product the product according to the specified imaging model is.
これらの撮像モデル作成、商品の特定の一連の処理は、形状、色とのマッチング処理をおこない、最適な種別を決定する。マッチング処理には、たとえば、AI(人口知能)を用いたディープラーニング(深層学習)により、おこなうようにしてもよい。 The imaging model creation and the specific series of processing of the product perform matching processing with the shape and the color to determine the optimal type. The matching process may be performed by, for example, deep learning (deep learning) using AI (Artificial Intelligence).
つぎに、商品モデルを作成する(ステップS504)。ステップS502において作成された撮像モデルに、具体的な寸法や商品種別情報などを含めて商品モデルを作成する。これにより、商品モデルが完成する。さらには商品情報(商品の材質、色、商品の販売価格、問い合わせ先その他、商品の売買に必要な情報)などを含めて商品モデルとして完成させてもよく、あるいは、商品情報を商品モデルとは別に登録・管理するようにしてもよい。 Next, a product model is created (step S504). A product model is created by including specific dimensions, product type information, and the like in the imaging model created in step S502. This completes the product model. Furthermore, the product information may be completed as a product model including product information (material, color, product sale price, contact information, and other information necessary for purchase and sale of the product), or the product information as a product model You may register and manage separately.
そして、作成された商品モデル・商品情報を商品マスタ110に登録し(ステップS505)、図5のフローチャートの一連の処理を終了する。上記各処理のうちの全部または一部を、サーバ103に代わって、事業者端末装置102がおこなうようにしてもよい。
Then, the created product model / product information is registered in the product master 110 (step S505), and the series of processing of the flowchart of FIG. 5 is ended. The
(部屋モデル・インテリアモデル生成処理手順)
図6は、部屋モデル・インテリアモデルの生成処理手順の一例を示すフローチャートである。図6のフローチャートにおいて、部屋モデル・インテリアモデル生成部422は、商品の撮像画像を取得する(ステップS601)。取得された撮像画像は、対象となる部屋を、当該商品を異なる位置から異なるアングルで撮影されたものであり、複数の撮像画像が必要である。
(Room model / interior model generation processing procedure)
FIG. 6 is a flowchart of an example of a process of generating a room model / interior model. In the flowchart of FIG. 6, the room model / interior
つぎに、部屋モデル・インテリアモデル生成部422は、撮像モデルを作成する(ステップS602)。撮像モデルの作成は、まず、複数の撮影画像から、画像に表示されている所定の特徴点を画像認識処理技術を用いて抽出する。部屋の特徴点とは、縦方向、横方向、高さ方向における終端部や、形状にかかる特徴点(突出している部分や窪んでいる部分)、色彩による特徴点などである。
Next, the room model / interior
具体的には、たとえば、壁と壁の境界の任意の点、壁と床の境界の任意の点、インテリアが配置されている点などである。また、一般的な部屋の特徴としてあらかじめ特徴点の候補として登録されている情報に基づいて、特徴点を抽出するようにしてもよい。特徴点の抽出は、取得した複数の撮像画像ごとにそれぞれおこなう。 Specifically, for example, any point on the wall-wall boundary, any point on the wall-floor boundary, or a point at which the interior is arranged. Also, the feature points may be extracted based on information registered in advance as feature point candidates as general room features. Extraction of feature points is performed for each of a plurality of acquired captured images.
そして、各撮像画像ごとに、抽出した特徴点の撮像画像における座標を認識する。つぎに、各撮像画像に共通する特徴点を認識し、認識した共通する特徴点の座標の差分に基づいて、当該部屋の縦方向、横方向、高さ方向の寸法比や、三次元形状がわかる撮像モデルを得る。このようにして、複数の撮像画像から撮像モデルを作成する。 Then, for each captured image, the coordinates in the captured image of the extracted feature point are recognized. Next, the feature ratio common to each captured image is recognized, and based on the difference in coordinates of the recognized common feature point, the dimensional ratio of the vertical direction, horizontal direction, height direction of the room, and three-dimensional shape Obtain an understood imaging model. Thus, an imaging model is created from a plurality of captured images.
ここで、撮像モデルを作成するのに、撮像画像の情報が不足している場合は、撮像画像の追加が必要である旨の通知を、顧客端末装置101へ送るようにしてもよい。その際、どのような位置からどのようなアングルの撮像画像が必要かについてのコメント情報をあわせて送るようにしてもよい。
Here, when the information of the captured image is insufficient to create the captured model, a notification may be sent to the
つぎに、各撮像画像から、所定の部材を特定する(ステップS603)。所定の部材とは、ドアや窓など、規定の寸法により作成されている部材である。ステップS603において特定された所定の部材について、あらかじめ登録されている寸法を、図示を省略する、寸法データベースから取得する。この寸法データベースは、サーバ103内にあってもよく、インターネット上に存在するデータベースを用いるようにしてもよい。
Next, a predetermined member is specified from each captured image (step S603). The predetermined member is a member such as a door, a window, or the like, which has a predetermined size. The dimensions registered in advance for the predetermined member specified in step S603 are acquired from a dimension database (not shown). This dimension database may be in the
取得された所定の部材の寸法と、撮像モデルにかかる部屋の空間の各特徴点間における寸法とを比較することによって、部屋の空間の各部の寸法を算出する(ステップS604)。算出により寸法に端数が出た場合は、規格の寸法を参考にして、算出結果をまるめるようにしてもよい。 The dimensions of each part of the room space are calculated by comparing the acquired dimensions of the predetermined member and the dimensions between the feature points of the room space of the imaging model (step S604). If a fraction appears in the dimensions by calculation, the calculation results may be rounded with reference to the dimensions of the standard.
つぎに、インテリアを特定する(ステップS605)。撮像モデルは、部屋モデルとインテリアモデルが混在している。そこで、撮像画像の中から、インテリアモデルを特定する。撮像画像の色彩などから、部屋の背景との違いを抽出し、その違いに基づいて、インテリアの所定の特徴点を抽出する。商品の特徴点とは、縦方向、横方向、高さ方向におけるインテリアの終端部や、インテリアの形状にかかる特徴点(突出している部分や窪んでいる部分)、色彩による特徴点などである。特徴点の抽出は、取得した各撮像画像ごとにそれぞれおこなう。 Next, the interior is identified (step S605). The imaging model is a mixture of a room model and an interior model. Therefore, an interior model is specified from the captured image. The difference with the background of the room is extracted from the color of the captured image and the like, and a predetermined feature point of the interior is extracted based on the difference. The feature points of the product include the end of the interior in the vertical direction, the horizontal direction, and the height direction, the feature points (protruding part or recessed part) relating to the shape of the interior, the feature points by color, and the like. Extraction of feature points is performed for each of the acquired captured images.
そして、各撮像画像ごとに、抽出した特徴点の撮像画像における座標を認識する。つぎに、各撮像画像に共通する特徴点を認識し、認識した共通する特徴点の座標の差分に基づいて、当該インテリアの縦方向、横方向、高さ方向の寸法比や、三次元形状がわかる撮像モデルを得る。このようにして、複数の撮像画像からインテリアの撮像モデルを作成する。 Then, for each captured image, the coordinates in the captured image of the extracted feature point are recognized. Next, the feature point common to each captured image is recognized, and based on the difference in coordinates of the recognized common feature point, the dimensional ratio in the vertical direction, horizontal direction, height direction of the interior, and three-dimensional shape Obtain an understood imaging model. Thus, the imaging model of the interior is created from the plurality of captured images.
そして、インテリアを部屋の空間から分離する(ステップS606)。ステップS602において作成した撮像モデルと、ステップS605において作成したインテリアの撮像モデルとを比較し、その比較の結果に基づいて、インテリアと部屋の空間を分離する。 Then, the interior is separated from the space of the room (step S606). The imaging model created in step S602 is compared with the imaging model of the interior created in step S605, and the space of the interior and the room is separated based on the comparison result.
つぎに、部屋モデルを作成する(ステップS607)。インテリアが分離された撮像モデルに、ステップS604において算出した寸法などを含めて部屋モデルを作成する。これにより、部屋モデルが完成する。さらに、壁や床などを認識し、認識した情報を登録するようにしてもよい。 Next, a room model is created (step S607). A room model is created by including the dimensions and the like calculated in step S604 in the imaging model in which the interior is separated. This completes the room model. Furthermore, a wall or a floor may be recognized, and the recognized information may be registered.
その際、部屋の空間のうち、インテリアモデルが除外された部分を、当該部分の周辺画像に基づいて修正する。具体的には、インテリアによって隠れていた部分の床や壁を、同色の床や壁で補う修正をおこなう。 At this time, a portion of the room space where the interior model is excluded is corrected based on the peripheral image of the portion. Specifically, the floor and wall of the part that was hidden by the interior is corrected with the floor and wall of the same color.
つぎに、インテリアモデルを作成する(ステップS608)。部屋モデルから分離して作成された撮像モデルに、具体的な寸法や種別情報、部屋の空間のどの部分に配置されていたかその情報(たとえば、座標、方向情報)などを含めてインテリアモデルを作成する。これにより、初期状態におけるインテリアの部屋の空間内の配置位置がわかる。このようにして、インテリアモデルが完成する。インテリアモデルにかかるインテリアの形状、色などにより、あらかじめ登録されている種別候補の形状、色とのマッチング処理をおこない、最適な種別を決定する。 Next, an interior model is created (step S608). An interior model is created by including specific dimensions and type information, and which part of the room space the information model (for example, coordinates, direction information, etc.) is included in the imaging model created separately from the room model Do. Thereby, the arrangement position in the space of the interior room in the initial state can be known. Thus, the interior model is completed. The matching processing with the shape and color of the type candidate registered in advance is performed according to the shape and color of the interior according to the interior model, and the optimum type is determined.
これらの撮像モデル作成、所定の部材の特定、インテリアの特定、インテリアモデルの分離、部屋モデルの作成、インテリアモデルの作成の一連の処理は、たとえば、AI(人口知能)を用いたディープラーニング(深層学習)により、おこなうようにしてもよい。 A series of processes of these imaging model creation, identification of a predetermined member, identification of an interior, separation of an interior model, creation of a room model, and creation of an interior model are, for example, deep learning (deep layer) using AI (Artificial Intelligence) It may be performed by learning).
また、上記の方法では種別が判断できなかった場合などには、顧客に問い合わせて、種別を入力させるようにしてもよい。 Further, in the case where the type can not be determined by the above method, the type may be input by inquiring the customer.
そして、作成された部屋モデル・インテリアモデルを登録し(ステップS609)、図6のフローチャートの一連の処理を終了する。 Then, the created room model / interior model is registered (step S609), and the series of processes in the flowchart of FIG. 6 are ended.
このような作成処理については、顧客端末装置101からの撮像画像を受信し、サーバ103が各処理を実行し、部屋モデル・インテリアモデル情報の登録をおこなってもよく、また、顧客端末装置101があらかじめ処理に必要なアプリケーションプログラムなどをインストールした上で、顧客端末装置101において各処理を実行し、作成した部屋モデル・インテリアモデル情報をサーバ103へ送信して、データベースに登録するようにしてもよい。
With regard to such creation processing, the captured image from the
さらに、顧客端末装置101において、部屋モデル・インテリアモデルを作成し、作成した部屋モデル・インテリアモデル情報をサーバ103へ送信せずに、顧客端末装置101のメモリ302などに記憶するようにしてもよい。記憶された部屋モデル・インテリアモデル情報は、必要に応じて、サーバ103へ送信するようにしてもよく、また、サーバ103へ送信せずに、商品モデルだけをサーバ103から受信して、それらをマッチングさせ、ディスプレイ304に表示させるようにしてもよい。このようにすることで、部屋モデル情報・インテリアモデル情報の流出を防ぎ、顧客の個人情報を確実に保護することができる。
Furthermore, in the
(全体のデータ構成)
つぎに、図1に示したサーバ103が有する各種データベースの記憶内容について説明する。商品マスタ110、各種データベース120〜123は、たとえば、図2に示したメモリ202、ディスク205などの記憶装置により実現される。
(Overall data configuration)
Next, storage contents of various databases included in the
図7は、全体のデータ構成のイメージを示す説明図である。図7において、商品マスタ110は、商品IDごとに、それぞれ商品名、価格、種別および作成された商品モデルのデータに関する情報が記憶されている。
FIG. 7 is an explanatory view showing an image of the entire data configuration. In FIG. 7, the
また、顧客情報データ120は、顧客IDごとに、顧客の氏名、住所などに関する情報が記憶されている。一つの顧客情報データ120に対して、複数(1〜n)の顧客部屋データ121と、複数(1〜n)の顧客インテリアデータ122と、複数(1〜n)の購入情報データ123とが関連付けられて記憶されている。
Further, the
顧客部屋データ121は、顧客IDごとに、連番が付されており、同一顧客の複数の部屋に対応しており、連番ごとに部屋名称、たとえば、居間、寝室、子供部屋などが記憶されている。部屋名称を登録しておくことにより、部屋モデルを読み込む際の部屋の特定が容易になる。連番ごとに、登録された部屋モデルのデータに関する情報が記憶されている。
The
顧客インテリアデータ122は、顧客部屋データ121と同様に、顧客IDごとに、連番が付されており、さらに、顧客部屋データの連番が付されている。これにより、どの部屋に配置されているインテリアであるかがわかる。また、インテリアの種別に関する情報が登録されている。これは、商品マスタ110の商品とのマッチングに用いる。さらに、登録されたインテリアモデルのデータに関する情報が記憶されている。
Similar to the
購入情報データ123は、一意に付与される受付番号ごとに、顧客IDと、購入に関するステータス情報(購入商品情報、決済状況、発送状況など)が記憶されている。これらのデータ構成によって、ネットショッピング・システムの運営を管理している。
The
(部屋モデル・インテリアモデル・商品モデルの表示処理の手順)
つぎに、図8を用いて、部屋モデル・インテリアモデル・商品モデルの表示処理の手順について説明する。
(Procedure of display processing of room model, interior model, product model)
Next, a procedure of display processing of a room model, an interior model, and a product model will be described with reference to FIG.
図8は、部屋モデル・インテリアモデル・商品モデルの表示処理の手順の一例を示すフローチャートである。図8のフローチャートにおいて、まず、部屋の空間の表示指示が、あったか否かを判断する(ステップS801)。部屋の空間の表示指示は、顧客による顧客端末装置101の入力装置306からの入力によりおこなわれる。具体的には、顧客によるネットショッピングサイトの立ち上げや、所望する部屋の空間の表示指示ボタンの押下などにより表示指示がなされる。
FIG. 8 is a flow chart showing an example of the procedure for displaying a room model, an interior model and a product model. In the flowchart of FIG. 8, first, it is determined whether or not there is an instruction to display a room space (step S801). The display instruction of the room space is performed by the input from the
ステップS801において、部屋の空間の表示指示があるのを待つ(ステップS801:No)。そして、部屋の空間の表示指示があった場合(ステップS801:Yes)は、部屋の空間を、たとえば透視図法によって表示し(ステップS802)、インテリアを部屋の所定の位置に配置して表示する(ステップS803)。これによって、登録時の顧客の部屋の空間が再現される。 In step S801, the process waits for an instruction to display a room space (step S801: No). Then, when there is a display instruction of the room space (step S801: Yes), the room space is displayed, for example, by perspective view (step S802), and the interior is arranged and displayed at a predetermined position of the room ( Step S803). This reproduces the space of the customer's room at the time of registration.
つぎに、部屋の空間の視点の変更指示があったか否かを判断する(ステップS804)。視点の変更指示は、顧客による顧客端末装置101の入力装置306からの入力によりおこなわれる。具体的には、顧客によるポインティングデバイスの操作、キーボードの方向キーなどの所定の操作、タッチパネルの操作、などにより変更指示がなされる。また、変更指示は、タブレットやスマートフォンの本体を傾けたり方向を変えたりしておこなうようにしてもよい。
Next, it is determined whether there is an instruction to change the viewpoint of the room space (step S804). The change instruction of the viewpoint is performed by the input from the
ステップS804において、視点の変更指示がなかった場合(ステップS804:No)は、何もせずに、ステップS806へ移行する。一方、視点の変更指示があった場合(ステップS804:Yes)は、部屋の空間の視点を変更して表示する(ステップS805)。 In step S804, when there is no view change instruction (step S804: No), the process proceeds to step S806 without doing anything. On the other hand, when there is a viewpoint change instruction (step S804: Yes), the viewpoint of the room space is changed and displayed (step S805).
部屋の空間の視点の変更表示は、具体的には、表示された部屋の空間の任意の位置をポインティングデバイスなどによって指定して、そこから所望の方向へドラッグすることによって、ドラッグに追従して部屋の空間の視点を変更するようにしてもよい。部屋の空間の視点を変更することによって、ある視点を中心として部屋の空間が回動したように見える。そして、ドラッグを解放することによって、視点の変更は停止する。表示された部屋の空間の指定をする位置の違いや、ドラッグ方向の違いによって、視点の変更の態様が異なるようにするとよい。 Specifically, the change display of the view point of the room space follows the drag by specifying an arbitrary position of the displayed room space by a pointing device or the like and dragging from there in a desired direction. The viewpoint of the room space may be changed. By changing the viewpoint of the room space, the room space appears to rotate around a certain viewpoint. Then, releasing the drag stops changing the viewpoint. It is preferable that the aspect of changing the viewpoint be different depending on the difference in the position for specifying the displayed room space and the difference in the dragging direction.
このようにすることによって、顧客は、感覚的に表示画面を動かして、所望する視点による部屋の空間を視認することができる。タッチパネルを指などで操作する場合や、キーボードの方向キーを用いる場合も同様である。 By doing this, the customer can senseily move the display screen to view the room space from the desired viewpoint. The same applies to the case of operating the touch panel with a finger or the like and the case of using the direction key of the keyboard.
また、所定の速度で所定の方向に連続的に視点の変更がなされるようにしてもよい。このようにすることで、ビデオカメラを回動させながら撮影した動画のように、部屋の空間を表示することができる。これにより、顧客は、表示画面をより現実的な部屋の空間として捉えることができる。 Further, the viewpoint may be continuously changed in a predetermined direction at a predetermined speed. By doing this, it is possible to display the room space like a moving image taken while rotating the video camera. This allows the customer to view the display screen as a more realistic room space.
このようにして、部屋の空間の視点を変更して表示した後、ステップS806へ移行する。 In this way, after changing and displaying the viewpoint of the room space, the process proceeds to step S806.
つぎに、インテリアの配置位置の変更指示があったか否かを判断する(ステップS806)。インテリアの配置位置の変更指示は、顧客による顧客端末装置101の入力装置306からの入力によりおこなわれる。具体的には、顧客によるポインティングデバイスの操作、キーボードの方向キーなどの所定のキー操作、タッチパネルの操作などにより変更指示がなされる。
Next, it is determined whether there is an instruction to change the layout position of the interior (step S806). An instruction to change the arrangement position of the interior is given by an input from the
ステップS806において、配置位置の変更指示がなかった場合(ステップS806:No)は、何もせずに、ステップS808へ移行する。一方、配置位置の変更指示があった場合(ステップS806:Yes)は、インテリアの配置位置を変更して表示する(ステップS807)。 In step S806, when there is no change instruction of the arrangement position (step S806: No), the process proceeds to step S808 without doing anything. On the other hand, when there is a change instruction of the arrangement position (step S806: Yes), the arrangement position of the interior is changed and displayed (step S807).
インテリアの配置位置の変更表示は、具体的には、表示されたインテリアの任意の位置をポインティングデバイスなどによって指定して、そこから所望の方向へドラッグすることによって、ドラッグに追従してインテリアが配置される位置やインテリアが配置される方向を変更するようにしてもよい。インテリアの配置位置や配置方向を変更することによって、部屋の空間において、インテリアを移動させたように見える。そして、ドラッグを解放することによって、インテリアの配置位置や配置方向の変更は停止する。 Specifically, the display for changing the arrangement position of the interior is such that the arbitrary position of the displayed interior is specified by a pointing device or the like, and dragging from there to a desired direction follows the drag to arrange the interior You may make it change the direction in which the position and interior are arranged. By changing the arrangement position and arrangement direction of the interior, it looks as if the interior was moved in the space of the room. And, by releasing the drag, the change of the arrangement position and the arrangement direction of the interior is stopped.
表示されたインテリアの指定をする位置の違いや、ドラッグ方向の違いによって、インテリアが部屋の空間を平行移動したり、回動したりして、変更の態様が異なるようにするとよい。具体的には、インテリアの中心付近を指定してドラッグすると、インテリアが平行移動し、インテリアの中心付近以外を指定してドラッグすると、インテリアが回動移動するようにしてもよい。 It is preferable to make the mode of change different by moving the interior of the room in parallel or rotating the space according to the difference in the position where the displayed interior is specified and the difference in the dragging direction. Specifically, when the center of the interior is specified and dragged, the interior moves in parallel, and when other than the center of the interior is specified and dragged, the interior may be rotated.
このようにすることで、顧客は、表示画面上において、感覚的に表示画面の表示を変化させ、インテリアを部屋の空間の所望の位置に配置することができる。タッチパネルを指などで操作する場合や、キーボードの方向キーを用いる場合も同様である。 By doing this, the customer can sensibly change the display of the display screen on the display screen to place the interior at a desired position in the space of the room. The same applies to the case of operating the touch panel with a finger or the like and the case of using the direction key of the keyboard.
このようにして、部屋の空間の視点を変更して表示した後、ステップS808へ移行する。 Thus, after changing and displaying the viewpoint of the room space, the process proceeds to step S808.
つぎに、インテリアの非表示指示があったか否かを判断する(ステップS808)。インテリアの非表示指示は、顧客による顧客端末装置101の入力装置306からの入力によりおこなわれる。具体的には、顧客によるポインティングデバイスの操作、キーボードの所定のキーの操作、タッチパネルの操作などにより非表示指示がなされる。
Next, it is determined whether or not there is an instruction to hide the interior (step S808). An instruction to hide the interior is given by an input from the
ステップS806において、非表示指示がなかった場合(ステップS808:No)は、何もせずに、ステップS810へ移行する。一方、非表示指示があった場合(ステップS808:Yes)は、インテリアを非表示にする(ステップS809)。その後、ステップS810へ移行する。 In step S806, when there is no non-display instruction (step S808: No), the process proceeds to step S810 without doing anything. On the other hand, when there is a non-display instruction (step S808: Yes), the interior is hidden (step S809). Thereafter, the process proceeds to step S810.
つぎに、ステップS809において非表示にした、あるいは、後述するステップS814において非表示にしたインテリアの表示指示があったか否かを判断する(ステップS810)。非表示のインテリアの表示指示は、顧客による顧客端末装置101の入力装置306からの入力によりおこなわれる。
Next, it is determined whether or not there is an instruction to display the interior that has been hidden in step S809 or has been hidden in step S814 described later (step S810). The instruction to display the non-displayed interior is given by the input from the
非表示のインテリアが複数ある場合は、図示を省略するが、非表示のインテリアの一覧を表示し、その中から表示するインテリアを指定して表示指示をするようにしてもよい。具体的には、顧客によるポインティングデバイスの操作、キーボードの所定のキーの操作、タッチパネルの操作などにより表示指示がなされる。 When there are a plurality of non-displayed interiors, although illustration is omitted, a list of non-displayed interiors may be displayed, and an interior to be displayed may be designated from among the interiors to give a display instruction. Specifically, a display instruction is given by an operation of a pointing device by a customer, an operation of a predetermined key of a keyboard, an operation of a touch panel, or the like.
ステップS810において、表示指示がなかった場合(ステップS810:No)は、何もせずに、ステップS812へ移行する。一方、表示指示があった場合(ステップS810:Yes)は、非表示のインテリアを表示する(ステップS811)。ステップS809において非表示にしたインテリアを表示する際は、非表示にした際に配置されていた位置に表示するようにしてもよい。 If there is no display instruction in step S810 (step S810: No), the process proceeds to step S812 without doing anything. On the other hand, when there is a display instruction (step S810: Yes), the hidden interior is displayed (step S811). When displaying the interior hidden in step S809, the interior may be displayed at the position where the interior was hidden.
また、ステップS814において非表示にしたインテリアを表示する際は、非表示にした際に表示した商品を非表示にしてから表示するようにしてもよい。その場合に、商品が表示されている位置(配置位置が変更になっている場合は、変更後の位置)に表示するようにしてもよく、また、非表示にした際に配置されていた位置あるいは撮像画像によって示されていた位置に表示するようにしてもよい。 Further, when displaying the interior that has been hidden in step S814, the product displayed when the interior is hidden may be displayed after being hidden. In that case, the item may be displayed at the position where the product is displayed (the position after the change if the arrangement position is changed), and the position where it was arranged when it was not displayed. Alternatively, it may be displayed at the position indicated by the captured image.
また、商品を非表示にすることなく、商品と同時に表示するようにしてもよい。その場合、互いに重ならないように配置位置を調整するとよい。 Also, the product may be displayed simultaneously with the product without hiding the product. In that case, the arrangement positions may be adjusted so as not to overlap each other.
このようにして、非表示にしたインテリアを表示した後、ステップS812へ移行する。 After displaying the hidden interior in this manner, the process moves to step S812.
つぎに、商品の表示指示があったか否かを判断する(ステップS812)。商品の表示指示は、顧客による顧客端末装置101の入力装置306からの入力によりおこなわれる。具体的には、顧客によるポインティングデバイスの操作、キーボードの所定のキーの操作、タッチパネルの操作などにより表示指示がなされる。
Next, it is determined whether or not there is a product display instruction (step S812). The display instruction of the product is performed by the input from the
ステップS812において、表示指示がなかった場合(ステップS812:No)は、何もせずに、ステップS816へ移行する。一方、表示指示があった場合(ステップS812:Yes)は、同一種別のインテリアが表示されているか否かを判断する(ステップS813)。同一種別である場合のほか、類似する種別であっても、寸法、形状、用途などのパラメータを用いて、対象となるインテリアがあるか否かを判断する。この判断においては、たとえば、AI(人口知能)を用いたディープラーニング(深層学習)により、おこなうようにしてもよい。 In step S812, when there is no display instruction (step S812: No), the process proceeds to step S816 without doing anything. On the other hand, if a display instruction has been issued (step S812: YES), it is determined whether or not the interior of the same type is displayed (step S813). In addition to the case of the same type, whether it is a similar type or not, it is determined whether or not there is a target interior using parameters such as dimensions, shapes, and uses. This determination may be performed by, for example, deep learning (deep learning) using AI (Artificial Intelligence).
ステップS813において、同一種別のインテリアが表示されていない場合(ステップS813:No)は、ステップS815へ移行し、表示指示があった商品を表示する(ステップS815)。 In step S813, when the interior of the same type is not displayed (step S813: No), the process proceeds to step S815, and the product for which the display instruction is given is displayed (step S815).
その後、ステップS816へ移行する。一方、ステップS813において、同一種別のインテリアが表示されている場合(ステップS813:Yes)は、当該同一種別のインテリアを非表示にして(ステップS814)、表示指示があった商品を表示する(ステップS815)。その際、表示する商品を、非表示にしたインテリアが配置されていた位置に表示するようにしてもよく、別の位置に配置するようにしてもよい。別の位置に配置する場合は、互いに重ならないように配置位置を調整するとよい。 Thereafter, the process proceeds to step S816. On the other hand, when the interior of the same type is displayed in step S813 (step S813: Yes), the interior of the same type is hidden (step S814), and the product for which the display instruction is given is displayed (step S814) S815). At that time, the product to be displayed may be displayed at the position where the hidden interior is arranged, or may be arranged at another position. When arranging at another position, it is preferable to adjust the arrangement position so as not to overlap each other.
このようにして、商品の表示を表示した後、ステップS816へ移行する。 After displaying the display of the product in this manner, the process proceeds to step S816.
つぎに、商品の配置位置の変更指示があったか否かを判断する(ステップS816)。商品の配置位置の変更指示は、顧客による顧客端末装置101の入力装置306からの入力によりおこなわれる。具体的には、顧客によるポインティングデバイスの操作、キーボードの方向キーなどの所定のキー操作、タッチパネルの操作などにより変更指示がなされる。
Next, it is determined whether or not there is an instruction to change the arrangement position of the product (step S816). The instruction to change the arrangement position of the product is given by the input from the
ステップS816において、配置位置の変更指示がなかった場合(ステップS816:No)は、何もせずに、ステップS818へ移行する。一方、配置位置の変更指示があった場合(ステップS816:Yes)は、商品の配置位置を変更して表示する(ステップS817)。 In step S816, when there is no change instruction of the arrangement position (step S816: No), the process proceeds to step S818 without doing anything. On the other hand, when there is a change instruction of the arrangement position (step S816: Yes), the arrangement position of the product is changed and displayed (step S817).
商品の配置位置の変更表示は、インテリアの配置位置の変更指示と同様に、具体的には、表示された商品の任意の位置をポインティングデバイスなどによって指定して、そこから所望の方向へドラッグすることによって、ドラッグに追従して商品が配置される位置や商品が配置される方向を変更するようにしてもよい。商品の配置位置や配置方向を変更することによって、部屋の空間において、商品を移動させたように見える。そして、ドラッグを解放することによって、商品の配置位置や配置方向の変更は停止する。 Similarly to the instruction to change the arrangement position of the interior, the change indication of the arrangement position of the product specifically designates an arbitrary position of the displayed product with a pointing device or the like, and drags from there in a desired direction Thus, the position where the product is placed or the direction in which the product is placed may be changed following the drag. By changing the arrangement position and arrangement direction of the product, it looks as if the product has been moved in the space of the room. Then, by releasing the drag, the change of the arrangement position and the arrangement direction of the product is stopped.
また、表示された商品の指定をする位置の違いや、ドラッグ方向の違いによって、商品が部屋の空間を平行移動したり、回動したりして、変更の態様が異なるようにするとよい。具体的には、商品の中心付近を指定してドラッグすると、商品が平行移動し、商品の中心付近以外を指定してドラッグすると、商品が回動移動するようにしてもよい。 In addition, it is preferable that the mode of change be different by translating or rotating the space of the room depending on the difference in the position where the displayed product is specified and the difference in the dragging direction. Specifically, when the vicinity of the center of the product is specified and dragged, the product moves in parallel, and when the region other than the center of the product is specified and dragged, the product may rotate.
このようにすることで、顧客は、表示画面上において、感覚的に表示画面の表示を変化させ、商品を部屋の空間の所望の位置に配置することができる。タッチパネルを指などで操作する場合や、キーボードの方向キーを用いる場合も同様である。 By doing this, the customer can sensibly change the display of the display screen on the display screen to place the product at a desired position in the space of the room. The same applies to the case of operating the touch panel with a finger or the like and the case of using the direction key of the keyboard.
このようにして、商品の配置位置を変更して表示した後、ステップS818へ移行する。 Thus, after changing and displaying the arrangement position of goods, it transfers to step S818.
つぎに、商品の非表示指示があったか否かを判断する(ステップS818)。ここで、非表示指示がなかった場合(ステップS818:No)は、何もせずに、ステップS804に戻る。一方、非表示指示があった場合(ステップS818:Yes)は、商品を非表示にする(ステップS819)。 Next, it is determined whether or not there is an instruction to hide the product (step S818). Here, when the non-display instruction has not been issued (step S 818: No), the process returns to step S 804 without doing anything. On the other hand, when there is a non-display instruction (step S 818: Yes), the product is not displayed (step S 819).
その際、ステップS814において、非表示にしたインテリアがある場合は、当該インテリアを再表示するようにしてもよい。インテリアを再表示する位置は、非表示にする商品が配置されていた位置でもよく、また、別の位置であってもよい。 At this time, if there is an interior that has been hidden in step S814, the interior may be displayed again. The position at which the interior is redisplayed may be the position at which the product to be hidden is located, or may be another position.
このようにして、商品を非表示にした後、ステップS804に戻る。以後、ステップS804〜S819を繰り返し実行する。 In this manner, after the product is hidden, the process returns to step S804. Thereafter, steps S804 to S819 are repeatedly executed.
このような表示処理については、図4に示したように、顧客端末装置101からの指示を受信し、サーバ103が各処理を実行し、処理結果を顧客端末装置101へ送信してもよい。また、図示は省略するが、各モデル情報を含む必要な情報を顧客端末装置101がサーバ103から受信し、顧客端末装置101が表示処理に必要なアプリケーションプログラムなどをあらかじめインストールした上で、顧客端末装置101において各処理を実行し、処理結果を顧客端末装置101のディスプレイ304などに表示するようにしてもよい。
Regarding such display processing, as shown in FIG. 4, an instruction from the
(顧客端末装置101の表示画面の一例)
図9〜12は、顧客端末装置の表示画面の表示例を示す説明図である。図9において、表示画面900には、ネットショッピングのサイトの画面が表示されている。表示画面900の右側画面901には、顧客の部屋が、部屋モデルに基づいて透視図法により表示されている(図8のステップS802)。このように表示することによって、顧客は、部屋の空間を立体的に把握することができる。
(An example of a display screen of the customer terminal device 101)
9 to 12 are explanatory diagrams showing display examples of the display screen of the customer terminal device. In FIG. 9, on the
図9の右側画面901において、顧客の部屋には、インテリアであるソファー911、ソファーテーブル912、ソファーテーブル912に付属する補助テーブル913が、表示されている(図8のステップS803)。これらのインテリア911、912、913は、撮像画像に写っていたものであり、それらの配置も撮像画像のとおりである。
In the
また、図9の右側画面901において、顧客の部屋には、向かって左側の壁にドア914があり、向かって右側の壁に窓915がある。このドア914および窓915が寸法が特定可能な部材である。このドア914および窓915も、撮像画像に写っていたものであり、それらの配置も撮像画像のとおりである。
Further, in the
図9の表示画面900の左側画面902には、顧客が検索した検索結果としての商品情報が表示されている。商品情報には、商品の画像、商品の名称、価格その他商品に関する情報、『購入』ボタン903、当該商品をやめて別の商品に移行するための『戻る』ボタン904、数量を入力する入力欄905などが表示されている。
The
図10Aの右側画面1001は、図9において、インテリアを非表示にした状態を示している(図8のステップS809)。インテリアモデルは部屋モデルとは分離して保存しているので、インテリアごとに個別に非表示にすることができる。これにより、インテリアであるソファー911、ソファーテーブル912、補助テーブル913が非表示になっている。
The
また、部屋の空間のうち、インテリアで隠れていた部分は、周辺の画像に基づいて修正している。これによって、顧客は、インテリアが置かれていない部屋の状態を感覚的にかつ容易に把握することができる。顧客は、「インテリア(家具など)がなくなった自分の部屋は意外と広かったんだ」という感覚を、実際にインテリアを搬出しなくても確認することができる。そのような感覚を顧客に与えることによって、あらたなインテリアの購入意欲を喚起することができる。 Also, in the room space, the part hidden in the interior is corrected based on the surrounding image. This enables the customer to intuitively and easily grasp the state of the room where the interior is not placed. The customer can confirm the feeling that "the room where the interior (furniture, etc.) has run out was unexpectedly large" without actually carrying out the interior. By giving such a sense to the customer, it is possible to motivate the purchase of a new interior.
図10Bの右側画面1002は、図10Aにおいて、視点を変更して表示した状態を示している(図8のステップS805)。具体的には、右側画面1002は図10Aの1001の矢印Aの方向から見た図である。このように、透視図法によって表示した画面の消失点位置(あるいは消失点の数)を変更することによって、視点を変更可能に表示することができる。
The
図10Bでは、インテリアを非表示にした状態で視点を変更して表示したが、インテリア(あるいは商品)を表示した状態で視点を変更することもできる。その場合は、インテリア(あるいは商品)も、部屋の表示の変化に追従して変化する。 In FIG. 10B, the viewpoint is changed and displayed in a state in which the interior is hidden, but the viewpoint can also be changed in a state in which the interior (or a product) is displayed. In that case, the interior (or product) also changes following the change in the display of the room.
図11は、左側画面902の商品を、右側画面1101に配置して表示した状態を示している(図8のステップS815)。図9において表示していたソファーテーブル912、補助テーブル913が非表示となり、ソファーテーブル912が表示されていた位置に、購入候補の商品のソファーテーブル1111が表示されている。このように、ソファーテーブル912と商品のソファーテーブル1111の種別が「ソファーテーブル」として同一であるため、ソファーテーブル912およびその補助テーブル913が非表示となったものである。補助テーブル913については、別の種別を設定することによって、非表示としないようにすることもできる。
FIG. 11 shows a state in which the product on the
このようにすることで、顧客は、購入候補の商品のソファーテーブル1111を表示させる際に、まずソファーテーブル912を非表示にするという手間を省き、効率的な商品選定ができる。また、元のソファーテーブル912に戻すときも、ソファーテーブル1111を自動的に非表示とすることもできる。また、図示を省略する別の商品のソファーテーブルを表示させるときに、ソファーテーブル1111を自動的に非表示とすることもできる。 By doing this, when displaying the sofa table 1111 of the product that is the purchase candidate, the customer can save time and effort to hide the sofa table 912 first, and can perform efficient product selection. Also, when returning to the original sofa table 912, the sofa table 1111 can be automatically hidden. The sofa table 1111 can also be automatically hidden when displaying a sofa table of another product (not shown).
図12の右側画面1201は、図11において、部屋の視点はそのままで、インテリアの配置位置のみを変更して表示した状態を示している(図8のステップS807、S817)。右側画面1201において、右側画面1101と比較して、ソファー911および商品のソファーテーブル1111の設置方向が変わっているのがわかる。このように、インテリアや商品のみの配置位置を変更することによって、容易にレイアウト変更をすることができる。実際のインテリアを動かして確認する労力も必要もない。そして、今までの位置では、置くことができなかった寸法の家具も、その配置位置や向きを変えることによって置くことができることを容易に確認させることによって、あらたなインテリアの購入意欲を喚起することができる。
The
インテリア・商品の配置位置の変更は、インテリア、商品ともに個別に指定してそれぞれ別個に変更させるようにしてもよい。また、複数を指定して、指定したグループ単位で変更させるようにしてもよい。 The change of the arrangement position of the interior and the product may be individually designated for the interior and the product and may be separately changed. Alternatively, a plurality of groups may be designated and changed in designated groups.
このようにして、商品(たとえば家具)の大きさが、部屋の広さに比べて適合しているか、さらには、その商品が、部屋の雰囲気に合っているか否かも容易に把握することができる。 In this way, it is possible to easily grasp whether the size of the product (for example, furniture) is suitable as compared to the size of the room, and furthermore, whether or not the product is suitable for the atmosphere of the room .
これにより、ネットショッピングの利用者のそうか、利用者の購買意欲を向上さえることができる。また、顧客部屋データ、顧客インテリアデータをマーケティングや商品開発の情報として活用することができる。 This makes it possible to improve the purchase intention of the online shopping user. Also, customer room data and customer interior data can be used as marketing and product development information.
なお、図9〜図12において、透視図法による表示の例を示したが、この例には限定されない。たとえば、3Dが表示可能なディスプレイおよび専用ゴーグルを用いることや、マウントヘッドディスプレイを用いることによって、左右の目に異なる画像を見せるようにすることで、実際に立体的に見えるバーチャルリアリティの画像表示をすることもできる。 In addition, although the example of the display by perspective drawing was shown in FIGS. 9-12, it is not limited to this example. For example, by using 3D displayable displays and special goggles, and by using mount head displays to show different images on the left and right eyes, virtual reality image display that actually looks three-dimensional can be realized. You can also
以上説明したように、実施の形態において、部屋内を撮影した複数の撮像画像に基づいて、前記複数の撮像画像に含まれるインテリアのモデルと部屋のモデルとを生成し、商品のモデルを記憶した記憶部を参照し、選択された特定の商品のモデルを、前記部屋のモデル内に配置し、前記インテリアのモデルと前記商品のモデルとのそれぞれに対して個別に移動させる操作または回転させる操作または非表示にする操作を受け付ける。 As described above, in the embodiment, the model of the interior and the model of the room included in the plurality of captured images are generated based on the plurality of captured images obtained by capturing the inside of the room, and the model of the product is stored. An operation of placing a model of a specific selected product with reference to a storage unit in the model of the room, and individually moving or rotating the model of the interior and the model of the product Accept the operation to hide.
これによって、利用者(たとえば一例として顧客)の所望の視点による部屋を確認することができるので、部屋、インテリア、商品の寸法を把握しなくても、容易にかつ確実に、インテリアやそのインテリアを配置する部屋の寸法あるいはレイアウトの状況を把握することができる。 By this, it is possible to confirm a room from a desired viewpoint of a user (for example, a customer), and therefore, it is possible to easily and surely confirm the interior and its interior without having to know the dimensions of the room, the interior and the product. It is possible to know the size or layout of the room to be placed.
また、複数の撮像画像に基づいて、当該撮像画像に示された部屋やインテリアの寸法やインテリアの部屋内の位置を視点を変更可能に表示することができる。したがって、利用者は所望の部屋の複数の撮像画像を提供するだけでよく、容易に所望の部屋における寸法把握あるいはレイアウトの状況の把握をすることができる。 Further, based on a plurality of captured images, the dimensions of the room or interior shown in the captured image and the position in the interior of the interior can be displayed so as to be able to change the viewpoint. Therefore, the user only needs to provide a plurality of captured images of a desired room, and can easily grasp the dimensions of the desired room or the situation of the layout.
以上、インテリアのネットショッピング・システムの例を用いて説明したが、本発明にかかるモデル配置プログラム、モデル配置方法およびモデル配置装置は、インテリアのネットショッピング・システムへの適用には限定されない。たとえば、衣料分野などにおいてもこのネットショッピング・システムを適用することができる。具体的には、たとえば、本発明にかかるモデル配置プログラム、モデル配置方法およびモデル配置装置を用いることによって、バーチャルな試着を実現することができる。 As mentioned above, although the example of the internet shopping system of interior was explained, the model placement program, model placement method, and model placement device concerning the present invention are not limited to the application to the internet shopping system of interior. For example, the internet shopping system can be applied to the clothing field as well. Specifically, for example, virtual fitting can be realized by using a model placement program, a model placement method, and a model placement apparatus according to the present invention.
また、本発明にかかるモデル配置プログラム、モデル配置方法およびモデル配置装置は、ネットショッピング・システムへの適用には限定されない。たとえば、不動産業者が、分譲または賃貸の対象となる物件の部屋モデルを生成し、購入または引っ越しを検討している顧客が、インテリアモデルを生成し、表示画面上において、視点を変更可能に表示することによって、手持ちのインテリアを物件の部屋に収めることができるかなどの検討に用いることも可能である。これにより、不動産物件の検索の一機能として、検索効率、紹介効率を向上させることができる。 Further, the model placement program, the model placement method, and the model placement apparatus according to the present invention are not limited to the application to the Internet shopping system. For example, a real estate agent generates a room model of a property to be sold or rented, and a customer who is considering purchasing or moving generates an interior model and displays the view point on the display screen so as to be changeable. In some cases, it can also be used to consider whether the interior you have can fit in the room of the property. As a result, it is possible to improve the search efficiency and the introduction efficiency as a function of searching for real estate properties.
また、現在住んでいる家の模様替え(インテリアの配置換え)などのシミュレーションにも応用することができる。また、実際の部屋を使ったインテリア・コーディネートのシミュレーションや、実際の部屋を使ったシミュレーションゲームにも応用することができる。 In addition, it can be applied to simulation such as remodeling of the house currently living (placement of the interior). Also, it can be applied to simulation of interior and coordination using a real room, and simulation games using a real room.
なお、本実施の形態で説明したモデル配置方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することにより実現することができる。モデル配置プログラムは、ハードディスク、フレキシブルディスク、CD(Compact Disc)−ROM、MO(Magneto−Optical Disk)、DVD(Digital Versatile Disk)、USB(Universal Serial Bus)メモリなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、モデル配置プログラムは、インターネットなどのネットワークを介して配布してもよい。 The model layout method described in the present embodiment can be realized by executing a prepared program on a computer such as a personal computer or a workstation. The model placement program is a computer readable recording medium such as a hard disk, flexible disk, CD (Compact Disc) -ROM, MO (Magneto-Optical Disk), DVD (Digital Versatile Disk), USB (Universal Serial Bus) memory, etc. It is recorded and executed by being read from a recording medium by a computer. The model placement program may also be distributed via a network such as the Internet.
上述した実施の形態に関し、さらに以下の付記を開示する。 The following appendices will be further disclosed regarding the embodiment described above.
(付記1)部屋内を撮影した複数の撮像画像に基づいて、前記複数の撮像画像に含まれるインテリアのモデルと部屋のモデルとを生成し、
商品のモデルを記憶した記憶部を参照し、選択された特定の商品のモデルを、前記部屋のモデル内に配置し、
前記インテリアのモデルと前記商品のモデルとのそれぞれに対して個別に移動させる操作または回転させる操作または非表示にする操作を受け付ける、
処理をコンピュータに実行させることを特徴とするモデル配置プログラム。
(Supplementary Note 1) A model of an interior and a model of a room included in the plurality of captured images are generated based on a plurality of captured images obtained by capturing the inside of a room,
Referring to a storage unit storing a model of a product, and arranging a model of a selected specific product in the model of the room;
An operation to move individually or an operation to rotate or an operation to hide the model individually for each of the model of the interior and the model of the product
A model placement program that causes a computer to execute a process.
(付記2)前記インテリアのモデルは、前記複数の撮像画像に基づいて、前記部屋モデル内に配置される、
ことを特徴とする付記1に記載のモデル配置プログラム。
(Supplementary Note 2) The model of the interior is disposed in the room model based on the plurality of captured images.
The model placement program according to
(付記3)前記特定の商品のモデルの前記配置の際に、前記インテリアのモデルのうち、前記特定の商品の種別に対応する種別のインテリアのモデルを非表示にする、
ことを特徴とする付記1に記載のモデル配置プログラム。
(Supplementary Note 3) In the arrangement of the model of the specific product, the model of the interior of the type corresponding to the type of the specific product among the models of the interior is not displayed.
The model placement program according to
(付記4)前記特定の商品のモデルの前記配置は、前記複数の撮像画像に含まれる窓またはドアの大きさに応じて、前記特定の商品のモデルの大きさを調整する、
ことを特徴とする付記1に記載のモデル配置プログラム。
(Supplementary Note 4) The arrangement of the specific product model adjusts the size of the specific product model according to the size of a window or a door included in the plurality of captured images.
The model placement program according to
(付記5)前記生成する処理は、前記複数の撮像画像に基づいて、モデルを生成し、前記モデルから前記インテリアのモデルに対応する部分を分離する処理を含む、
ことを特徴とする付記1に記載のモデル配置プログラム。
(Supplementary Note 5) The process of generating includes a process of generating a model based on the plurality of captured images, and separating a part corresponding to the model of the interior from the model.
The model placement program according to
(付記6)前記部屋のモデルに基づいて、前記部屋を視点を変更可能に表示する、
ことを特徴とする付記1に記載のモデル配置プログラム。
(Supplementary Note 6) Based on a model of the room, the room is displayed so that the viewpoint can be changed.
The model placement program according to
(付記7)前記視点の変更の操作を受け付ける、
ことを特徴とする付記6に記載のモデル配置プログラム。
(Supplementary Note 7) An operation of changing the viewpoint is accepted.
The model arrangement | positioning program of Additional remarks characterized by the above-mentioned.
(付記8)前記商品のモデルは、前記商品を撮影した複数の撮像画像に基づいて生成する、
ことを特徴とする付記1に記載のモデル配置プログラム。
(Supplementary Note 8) The model of the product is generated based on a plurality of captured images obtained by capturing the product.
The model placement program according to
(付記9)部屋内を撮影した複数の撮像画像に基づいて、前記複数の撮像画像に含まれるインテリアのモデルと部屋のモデルとを生成し、
商品のモデルを記憶した記憶部を参照し、選択された特定の商品のモデルを、前記部屋のモデル内に配置し、
前記インテリアのモデルと前記商品のモデルとのそれぞれに対して個別に移動させる操作または回転させる操作または非表示にする操作を受け付ける、
処理をコンピュータが実行することを特徴とするモデル配置方法。
(Supplementary Note 9) A model of an interior and a model of a room included in the plurality of captured images are generated based on a plurality of captured images obtained by capturing the inside of a room,
Referring to a storage unit storing a model of a product, and arranging a model of a selected specific product in the model of the room;
An operation to move individually or an operation to rotate or an operation to hide the model individually for each of the model of the interior and the model of the product
A model placement method characterized in that a computer executes processing.
(付記10)部屋内を撮影した複数の撮像画像に基づいて、前記複数の撮像画像に含まれるインテリアのモデルと部屋のモデルとを生成し、
商品のモデルを記憶した記憶部を参照し、選択された特定の商品のモデルを、前記部屋のモデル内に配置し、
前記インテリアのモデルと前記商品のモデルとのそれぞれに対して個別に移動させる操作または回転させる操作または非表示にする操作を受け付ける、
制御部を有することを特徴とするモデル配置装置。
(Supplementary Note 10) A model of an interior and a model of a room included in the plurality of captured images are generated based on a plurality of captured images obtained by capturing the inside of a room,
Referring to a storage unit storing a model of a product, and arranging a model of a selected specific product in the model of the room;
An operation to move individually or an operation to rotate or an operation to hide the model individually for each of the model of the interior and the model of the product
A model placement device comprising a control unit.
(付記11)付記1〜8のいずれか一つのモデル配置プログラムが実行されることを特徴とするネットショッピング・システム。
(Supplementary note 11) An online shopping system characterized in that any one of the model placement programs of
101 顧客端末装置
102 事業者端末装置
103 サーバ
110 商品マスタ
120 顧客情報データ
121 顧客部屋データ
122 顧客インテリアデータ
123 購入情報データ
411 商品画像ファイル
412 商品モデル生成部
421 部屋画像ファイル
422 部屋モデル・インテリアモデル生成部
423 顧客情報登録部
431 部屋モデル・インテリアモデル読込部
432 表示処理部
433 商品検索部
434 商品配置処理部
435 購入処理部
911 ソファー(インテリアデータ)
912 ソファーテーブル(インテリアデータ)
914 ドア(寸法が特定可能な部材)
915 窓(寸法が特定可能な部材)
1111 ソファーテーブル(商品データ)
101
912 Sofa table (Interior data)
914 Doors (members whose dimensions can be identified)
915 Window (members whose dimensions can be identified)
1111 Sofa table (product data)
Claims (9)
商品のモデルを記憶した記憶部を参照し、選択された特定の商品のモデルを、前記部屋のモデル内に配置し、
前記インテリアのモデルと前記商品のモデルとのそれぞれに対して個別に移動させる操作または回転させる操作または非表示にする操作を受け付ける、
処理をコンピュータに実行させることを特徴とするモデル配置プログラム。 The model of the interior and the model of the room included in the plurality of captured images are generated based on the plurality of captured images obtained by capturing the inside of the room,
Referring to a storage unit storing a model of a product, and arranging a model of a selected specific product in the model of the room;
An operation to move individually or an operation to rotate or an operation to hide the model individually for each of the model of the interior and the model of the product
A model placement program that causes a computer to execute a process.
ことを特徴とする請求項1に記載のモデル配置プログラム。 The model of the interior is disposed in the room model based on the plurality of captured images.
The model placement program according to claim 1, characterized in that:
ことを特徴とする請求項1に記載のモデル配置プログラム。 In the arrangement of the model of the specific product, hide the model of the interior of the type corresponding to the type of the specific product among the models of the interior,
The model placement program according to claim 1, characterized in that:
ことを特徴とする請求項1に記載のモデル配置プログラム。 The arrangement of the specific product model adjusts the size of the specific product model according to the size of a window or a door included in the plurality of captured images.
The model placement program according to claim 1, characterized in that:
ことを特徴とする請求項1に記載のモデル配置プログラム。 The process of generating includes a process of generating a model based on the plurality of captured images and separating a portion corresponding to the model of the interior from the model.
The model placement program according to claim 1, characterized in that:
ことを特徴とする請求項1に記載のモデル配置プログラム。 Display the room changeable based on the model of the room,
The model placement program according to claim 1, characterized in that:
ことを特徴とする請求項1に記載のモデル配置プログラム。 The model of the product is generated based on a plurality of captured images obtained by capturing the product.
The model placement program according to claim 1, characterized in that:
商品のモデルを記憶した記憶部を参照し、選択された特定の商品のモデルを、前記部屋のモデル内に配置し、
前記インテリアのモデルと前記商品のモデルとのそれぞれに対して個別に移動させる操作または回転させる操作または非表示にする操作を受け付ける、
処理をコンピュータが実行することを特徴とするモデル配置方法。 The model of the interior and the model of the room included in the plurality of captured images are generated based on the plurality of captured images obtained by capturing the inside of the room,
Referring to a storage unit storing a model of a product, and arranging a model of a selected specific product in the model of the room;
An operation to move individually or an operation to rotate or an operation to hide the model individually for each of the model of the interior and the model of the product
A model placement method characterized in that a computer executes processing.
商品のモデルを記憶した記憶部を参照し、選択された特定の商品のモデルを、前記部屋のモデル内に配置し、
前記インテリアのモデルと前記商品のモデルとのそれぞれに対して個別に移動させる操作または回転させる操作または非表示にする操作を受け付ける、
制御部を有することを特徴とするモデル配置装置。 The model of the interior and the model of the room included in the plurality of captured images are generated based on the plurality of captured images obtained by capturing the inside of the room,
Referring to a storage unit storing a model of a product, and arranging a model of a selected specific product in the model of the room;
An operation to move individually or an operation to rotate or an operation to hide the model individually for each of the model of the interior and the model of the product
A model placement device comprising a control unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017077491A JP2018180803A (en) | 2017-04-10 | 2017-04-10 | Model arrangement program, model arrangement method and model arrangement device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017077491A JP2018180803A (en) | 2017-04-10 | 2017-04-10 | Model arrangement program, model arrangement method and model arrangement device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018180803A true JP2018180803A (en) | 2018-11-15 |
Family
ID=64276830
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017077491A Pending JP2018180803A (en) | 2017-04-10 | 2017-04-10 | Model arrangement program, model arrangement method and model arrangement device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018180803A (en) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020261705A1 (en) * | 2019-06-28 | 2020-12-30 | Line株式会社 | Information processing method, program, and terminal |
CN112825195A (en) * | 2019-11-21 | 2021-05-21 | 株式会社理光 | Method and device for determining article placement position and computer readable storage medium |
JP2022008144A (en) * | 2020-06-24 | 2022-01-13 | 南亞塑膠工業股▲分▼有限公司 | Cloud type cybermall system |
JPWO2022018801A1 (en) * | 2020-07-20 | 2022-01-27 | ||
JP2022540934A (en) * | 2019-07-15 | 2022-09-20 | リアルシー・(ベイジン)・テクノロジー・カンパニー・リミテッド | Artificial intelligence system and method for interior design |
WO2022259962A1 (en) * | 2021-06-08 | 2022-12-15 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Processing device, processing method, and processing program |
JP7378865B1 (en) * | 2023-07-26 | 2023-11-14 | 株式会社セルシス | Method and program for generating images of three-dimensional objects |
-
2017
- 2017-04-10 JP JP2017077491A patent/JP2018180803A/en active Pending
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021009495A (en) * | 2019-06-28 | 2021-01-28 | Line株式会社 | Information processing method, program, and terminal |
WO2020261705A1 (en) * | 2019-06-28 | 2020-12-30 | Line株式会社 | Information processing method, program, and terminal |
JP7417690B2 (en) | 2019-06-28 | 2024-01-18 | Lineヤフー株式会社 | Programs, information processing methods, terminals |
JP2022540934A (en) * | 2019-07-15 | 2022-09-20 | リアルシー・(ベイジン)・テクノロジー・カンパニー・リミテッド | Artificial intelligence system and method for interior design |
JP7325602B2 (en) | 2019-07-15 | 2023-08-14 | リアルシー・(ベイジン)・テクノロジー・カンパニー・リミテッド | Artificial intelligence system and method for interior design |
CN112825195A (en) * | 2019-11-21 | 2021-05-21 | 株式会社理光 | Method and device for determining article placement position and computer readable storage medium |
JP2022037125A (en) * | 2019-11-21 | 2022-03-08 | 株式会社リコー | Determination method of arrangement position of item and computer-readable storage medium |
JP7222418B2 (en) | 2019-11-21 | 2023-02-15 | 株式会社リコー | METHOD, APPARATUS AND COMPUTER-READABLE STORAGE MEDIUM FOR DETERMINING ARRANGEMENT POSITION OF ITEM |
US11580591B2 (en) | 2020-06-24 | 2023-02-14 | Nan Ya Plastics Corporation | Cloud-based cyber shopping mall system |
JP2022008144A (en) * | 2020-06-24 | 2022-01-13 | 南亞塑膠工業股▲分▼有限公司 | Cloud type cybermall system |
JP7201743B2 (en) | 2020-06-24 | 2023-01-10 | 南亞塑膠工業股▲分▼有限公司 | Cloud type cyber mall system |
JPWO2022018801A1 (en) * | 2020-07-20 | 2022-01-27 | ||
JP7397203B2 (en) | 2020-07-20 | 2023-12-12 | 株式会社Fuji | Design support equipment and design support system |
WO2022018801A1 (en) * | 2020-07-20 | 2022-01-27 | 株式会社Fuji | Design assistance device and design assistance system |
JP2022187930A (en) * | 2021-06-08 | 2022-12-20 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Processing device, processing method, and processing program |
JP7233471B2 (en) | 2021-06-08 | 2023-03-06 | 株式会社Nttコノキュー | Processing device, processing method and processing program |
WO2022259962A1 (en) * | 2021-06-08 | 2022-12-15 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Processing device, processing method, and processing program |
JP7378865B1 (en) * | 2023-07-26 | 2023-11-14 | 株式会社セルシス | Method and program for generating images of three-dimensional objects |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018180803A (en) | Model arrangement program, model arrangement method and model arrangement device | |
US11385760B2 (en) | Augmentable and spatially manipulable 3D modeling | |
US20210166300A1 (en) | Virtual reality platform for retail environment simulation | |
US10754422B1 (en) | Systems and methods for providing interaction with elements in a virtual architectural visualization | |
US10055894B2 (en) | Markerless superimposition of content in augmented reality systems | |
US20170153787A1 (en) | Injection of 3-d virtual objects of museum artifact in ar space and interaction with the same | |
US20140225922A1 (en) | System and method for an augmented reality software application | |
US20130024819A1 (en) | Systems and methods for gesture-based creation of interactive hotspots in a real world environment | |
US20220129976A1 (en) | Information providing apparatus, information providing system, and information providing method | |
US10643399B2 (en) | Photorealistic scene generation system and method | |
CN104520850A (en) | Three-dimensional object browsing in documents | |
JP2022505998A (en) | Augmented reality data presentation methods, devices, electronic devices and storage media | |
CN109905592A (en) | According to the interactive controlling of user or the providing method and device of the content of synthesis | |
US20220148269A1 (en) | Information providing apparatus, information providing system, and information providing method | |
Park et al. | DesignAR: Portable projection-based AR system specialized in interior design | |
KR102121107B1 (en) | Method for providing virtual reality tour and record media recorded program for implement thereof | |
Sand et al. | A hand-held immaterial volumetric display | |
JP7172139B2 (en) | Sales system | |
US20200226833A1 (en) | A method and system for providing a user interface for a 3d environment | |
US20170083952A1 (en) | System and method of markerless injection of 3d ads in ar and user interaction | |
TWI718551B (en) | Method and system for displaying online content using stereoscopic images | |
JP2021015572A (en) | Information management system and information management method | |
KR102694919B1 (en) | Mehtod for providing manipulation interface of virtual building information modeling model in metaverse-based architectural design studio environment | |
Vaidya et al. | Visualization Of Furniture Model Using Augmented Reality | |
KR102625304B1 (en) | Method and apparatus for generating 3d model catalog |