JP2022540934A - インテリアデザインのための人工知能システム及び方法 - Google Patents

インテリアデザインのための人工知能システム及び方法 Download PDF

Info

Publication number
JP2022540934A
JP2022540934A JP2022502901A JP2022502901A JP2022540934A JP 2022540934 A JP2022540934 A JP 2022540934A JP 2022502901 A JP2022502901 A JP 2022502901A JP 2022502901 A JP2022502901 A JP 2022502901A JP 2022540934 A JP2022540934 A JP 2022540934A
Authority
JP
Japan
Prior art keywords
furnishing
floor plan
plan
furniture
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022502901A
Other languages
English (en)
Other versions
JP7325602B2 (ja
Inventor
ビン・ヤン
イラン・フ
イ・ジュ
ジアン・ビアン
ユケ・ヤン
チェンコン・シン
シンユアン・ジアン
チャオラン・シアン
シリ・デン
チョン・ス
Original Assignee
リアルシー・（ベイジン）・テクノロジー・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201910637579.5A external-priority patent/CN110377824B/zh
Priority claimed from CN201910636694.0A external-priority patent/CN110390731B/zh
Priority claimed from CN201910637659.0A external-priority patent/CN110390153B/zh
Priority claimed from CN201910637657.1A external-priority patent/CN110363853B/zh
Application filed by リアルシー・（ベイジン）・テクノロジー・カンパニー・リミテッド filed Critical リアルシー・（ベイジン）・テクノロジー・カンパニー・リミテッド
Publication of JP2022540934A publication Critical patent/JP2022540934A/ja
Application granted granted Critical
Publication of JP7325602B2 publication Critical patent/JP7325602B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/12—Geometric CAD characterised by design entry means specially adapted for CAD, e.g. graphical user interfaces [GUI] specially adapted for CAD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/13—Architectural design, e.g. computer-aided architectural design [CAAD] related to design of buildings, bridges, landscapes, production plants or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/04—Architectural design, interior design

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Architecture (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computer Graphics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Human Computer Interaction (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

物件の調度計画を生成するためのシステム及び方法を開示する。システムは、物件の間取り図及びニューラルネットワークモデル（３０２）を受信するように構成される通信インターフェースを含む。該システムは、間取り図に基づいて物件の構造データを取得し、間取り図及び構造データにニューラルネットワークモデルを適用することで調度情報を学習するように構成される少なくとも１つのプロセッサ（３０４）をさらに含む。調度情報は、１つ又は複数の調度品、間取り図に配置された各調度品の位置、及び各調度品の寸法を識別する。該少なくとも１つのプロセッサ（３０４）も、調度情報に基づいて物件の調度計画を生成するように構成されている。

Description

（関連出願の相互参照）
本出願は２０１９年７月１５日に提出された中国出願番号２０１９１０６３６６９４．０、２０１９年７月１５日に提出された中国出願番号２０１９１０６３７６５７．１、２０１９年７月１５日に提出された中国出願番号２０１９１０６３７５７９．５、２０１９年７月１５日に提出された中国出願番号２０１９１０６３７６５９．０の優先権を主張しており、これらの出願はすべて引用によりここに組み込まれている。
本開示は、インテリアデザインのためのシステム及び方法に関し、より具体的には、インテリアデザイン計画（例えば、改装及び／又は調度計画）を生成し、そのようなインテリアデザインを可視化するための人工知能システム及び方法に関する。
物件所有者は、物件を市場に出す前に空間の改装、再調度や場所を取る場合など、さまざまな状況でインテリアデザインを必要とすることがある。インテリアデザインが直面する課題の１つは、計画が実行される前に、デザイン計画がどのように実際の空間に適合するかを把握することが困難であることである。例えば、ネットワークを閲覧してリビング用の家具を検索した場合、家具が複数の画像や映像でよく描かれているが、ユーザはその家具がどのようにそのリビングに適合するかを想像することはできない。家具を購入してリビングに置くまで、物件所有者は、通常、その家具の寸法が適切であるか否かや、その家具のスタイルが部屋の他の飾り物にマッチングしているか否かを明確にすることができない。
調度だけでなく、室内の改装も実際の間取り図に適合するための改装計画が必要である。例えば、改装デザインでは、空間の大きさ、レイアウト、空間に期待される機能や調度嗜好などを考慮する必要がある。台所改装プロジェクトでは、物件所有者にとって、１つの壁を半分の壁に解体するか否か、ましてやどのように実現するかも、決定するのが難しい。
したがって、インテリジェントに生成されたデザイン計画（例えば、改装計画や調度計画）、及び実際の空間でデザインを実施する前にデザインを可視化する能力は、インテリアデザインによって非常に有利なものである。これらのニーズに対処するために、本開示の実施形態は、インテリアデザイン計画（例えば、改装及び／又は調度計画）を生成し、そのようなインテリアデザインを可視化するための人工知能システム及び方法を提供する。
一態様では、室内空間の画像内の調度品を可視化するための人工知能システム、方法、コンピュータ読み取り可能な媒体の実施形態が開示される。いくつかの実施形態では、室内空間の画像は３Ｄスキャナによって取り込まれ、既存の調度品を含んでもよい。既存の調度品を除去し、調度品を除去した後に残った穴を埋めることにより画像を復元してもよい。ユーザに新しい画像を提供する前に、１つ又は複数の新しい調度品を復元された画像に挿入し、画像内の調度品の配置を調整することもできる。
別の態様では、室内空間用の新しい調度品を提案するための人工知能システム、方法、コンピュータ読み取り可能な媒体の実施形態が開示される。いくつかの実施形態では、室内空間の画像は３Ｄスキャナによって取り込まれ、既存の調度品を含んでもよい。学習モデルを用いて、画像内の既存の調度品の特徴情報を決定してもよい。３Ｄ点群データに基づいて既存の調度品の寸法情報を決定してもよい。特徴情報及び／又は寸法情報に基づいて決定された調度品の属性に基づいて、室内空間にマッチングしないターゲット調度品を識別してもよい。新しい調度品を選択し、マッチングしない調度品を差し替えることをユーザに提案してもよい。
さらに別の態様では、物件の改装計画を生成するための人工知能システム、方法、コンピュータ読み取り可能な媒体の実施形態が開示される。いくつかの実施形態では、物件の間取り図に基づいて構造データを取得してもよい。構造データに基づいて簡易間取り図を決定してもよい。間取り図、簡易間取り図及び構造データに適用された学習ネットワークを用いて構造改装情報を学習してもよい。構造改装情報を処理することにより改装計画を生成してもよい。
さらに別の態様では、物件の調度計画を生成するための人工知能システム、方法、コンピュータ読み取り可能な媒体の実施形態が開示される。いくつかの実施形態では、物件の間取り図に基づいて構造データを取得してもよい。間取り図及び構造データにニューラルネットワークモデルを適用することで調度情報を学習してもよい。調度情報は、１つ又は複数の調度品、間取り図に配置された各調度品の位置、及び各調度品の寸法を識別する。調度情報に基づいて、物件の調度計画を生成してもよい。
なお、前述の一般的な説明及び以下の詳細な説明は、例示的かつ説明的なものに過ぎず、本発明を限定するものではないことが理解される。
本開示の実施形態による不動産物件の３次元ビューの一例の模式図を示す。 本開示の実施形態によるインテリアデザインのための人工知能システムの一例を示す。 本開示の実施形態によるインテリアデザインデバイスの一例のブロック図である。 本開示の実施形態によるユーザデバイスの一例を示す。 本開示の実施形態による、調度品を示す室内空間の画像の一例である。 本開示の実施形態による、室内空間の画像内の調度品を可視化するための方法の一例のフローチャートである。 本開示の実施形態による、室内空間の画像内の既存の調度品を除去するための方法の一例のフローチャートである。 本開示の実施形態による、室内空間のための新しい調度品を提案するための方法の一例のフローチャートである。 本開示の実施形態による、物件の改装情報を学習するためにニューラルネットワークを訓練するための方法の一例のフローチャートである。 本開示の実施形態による、物件の改装計画を生成するための方法の一例のフローチャートである。 本開示の実施形態による、物件の調度情報を学習するためにニューラルネットワークを訓練するための方法の一例のフローチャートである。 本開示の実施形態による、物件の調度計画を生成するための方法の一例のフローチャートである。 本開示の実施形態による、物件の調度計画を可視化する表示モデルを生成するための方法の一例のフローチャートである。
以下、添付図面に例示されている例示的な実施形態について詳細に言及する。可能な限り、すべての図面において、同じ符号は同一又は類似の部分を表す。
図１は、本開示の実施形態による不動産物件１００（以下、「物件１００」と称する）の３次元（３Ｄ）ビューの一例の模式図を示す。いくつかの実施形態では、物件１００は、ハウス、アパート、別荘、ガレージなどの住宅物件や、倉庫、オフィスビル、ホテル、博物館や店舗などの商業物件であってもよい。図１に示すように、３次元ビューは、物件１００のレイアウト（例えば、物件を複数の部屋のフレーム構造、例えば壁やカウンターに分割する）、調度（例えば、台所／浴室のカウンター、浴槽、島台など）、取り付けられた固定装置（例えば、電気機器、窓飾り、シャンデリアなど）、及び家具や飾り物（例えば、ベッド、机、テーブルや椅子、ソファ、テレビスタンド、本棚、壁画、鏡、植物など）を含む、物件１００を仮想的に再現する。
いくつかの実施形態では、物件１００は、室内の壁によって仕切られた複数の部屋又は機能空間を含んでもよい。例えば、物件１００は、リビング、寝室、ダイニングルーム、台所、浴室などを含んでもよい。図１に示すように、物件１００は、リビングと台所とを組み合わせた機能を有する大部屋１１０と、寝室１２０、１３０とを含んでもよい。
取得した物件の複数の点群から物件１００の３次元ビューをレンダリングしてもよい。異なる視点から複数の点群を取得してもよい。その後、点群を後処理してマージし、３Ｄビューをレンダリングする。本開示によれば、点群は、物品の外面を測定する空間内の１組のデータ点である。点群は、通常、３次元座標系の１組のベクトルで表される。いくつかの実施形態では、点群は、その中の各データ点の３次元座標を含んでもよい。点群は通常、物品の周囲の外面を測定する３Ｄスキャナによって取得される。
本開示の実施形態によれば、物件１００のインテリアデザインは、その構造の改装を含んでもよい。例えば、図１に示すように、大部屋１１０の改装は、大部屋１１０を寝室１３０から分離するフレーム構造を変更すること、又は台所エリアのレイアウトを変更することを含んでもよい。大部屋１１０の改装は、壁からドアや窓を除去すること、又は壁にドアや窓を追加することをさらに含んでもよい。例えば、物件所有者は通常、物件を市場に出して売却したり賃貸したりする前に、あるいは前の所有者から物件を購入した後に、物件を改装する。
本開示の実施形態によれば、物件１００のインテリアデザインは、物件の室内空間の調度や装飾をさらに含んでもよい。例えば、図１に示すように、大部屋１１０は、ダイニングセット１１３、テレビスタンド１１４、及びリビングセット１１５を備えつけてもよい。大部屋１１０は、例えば植物１１６でさらに装飾されてもよい。同様に、寝室１３０は、ベッド１３１とロッキングチェア１３３とを備え付け、絵１３２で装飾されていてもよい。物件所有者は、さまざまな用途やスタイルに合わせるために、各々の空間を再調度／再装飾したい場合がある。例えば、寝室１３０を新生児を迎えるためのベビールームに改装することができ、この場合、ベッドをベビーベッドやおむつ替え台に差し替えることができ、且つ漫画のテーマで部屋を装飾することができる。別の例として、物件所有者がヨーロッパ式の家具の代わりにモダンな家具を好むようになることもある。場合によっては、オープンハウス日の前に、家具や装飾品を用いて物件を配置することもある。
物件又は物件の一部を改装又は調度／再調度することは、時間とコストのかかるプロジェクトである。物件所有者は、それが自分の想像して期待していた効果ではないことに、完成してから気付きたくないと思っている。完成した以降何かしらの調整を行うことも面倒である。例えば、家具を購入して納品すると、返却したり交換したりすることが難しい。その物件に加えられたいずれかの構造変更を取り消すことは、さらに困難である。本開示は、ユーザ（例えば、物件所有者又はインテリアデザイナー）が、空間におけるデザイン効果を現実に近い感覚で感じることができるように、空間（例えば、物件１００）のためのインテリアデザイン計画を生成して可視化するための人工知能システム及び方法を提供する。いくつかの実施形態では、開示されるシステム及び方法は、ニューラルネットワークを用いて、実際の空間の属性に基づいてデザイン計画をインテリジェントに生成し、デザイン計画に基づいて視覚的表現を生成してもよい。
図２は、本開示のいくつかの実施形態による人工知能インテリアデザインシステム２００（以下、「システム２００」と称する）の一例を示す。いくつかの実施形態では、システム２００は、実際の空間のインテリアデザインの提案及び／又は視覚的表現を提供するように構成されてもよい。例えば、システム２００は、ユーザによって提供された室内空間を描く画像に基づいて、調度／装飾の提案を提供してもよい。別の例として、システム２００は、ユーザによって提供された間取り図に基づいて、改装又は調度の提案を提供してもよい。
いくつかの実施形態では、システム２００は、機械学習ネットワークを用いてデザイン提案を行ってもよい。図２に示すように、システム２００は、２つの段階（訓練段階及び学習段階）を実行するためのコンポーネントを含んでもよい。訓練段階を実行するために、システム２００は、訓練データ２１０を記憶するための訓練データベース２０１と、学習モデル２１２を訓練するためのモデル訓練デバイス２０２とを含んでもよい。いくつかの実施形態では、学習モデル２１２は、デザイン提案を行うための学習モデルと、視覚的表現を生成するための学習モデルとを含んでもよい。学習段階を実行するために、システム２００は、訓練済み学習モデル２１２を用いてデザイン計画／提案及び視覚的表現をインテリジェントに生成するためのインテリアデザインデバイス２０３を含んでもよい。いくつかの実施形態では、システム２００は、図２に示すものより多く又はより少ないコンポーネントを含んでもよい。例えば、システム２００は、学習モデル２１２が事前に訓練されて提供される場合、デバイス２０３のみを含んでもよい。
いくつかの実施形態では、システム２００は、任意に、システム２００の様々なコンポーネント（例えば、データベース２０１、デバイス２０２、２０３、ユーザデバイス２０４、及び３Ｄスキャナ２０５）間の通信を容易にするネットワーク２０６を含んでもよい。例えば、ネットワーク２０６は、ローカルエリアネットワーク（ＬＡＮ）、無線ネットワーク、クラウドコンピューティング環境（例えば、サービスとしてのソフトウェア、サービスとしてのプラットフォーム、サービスとしてのインフラストラクチャ）、クライアント－サーバ、ワイドエリアネットワーク（ＷＡＮ）などであってもよい。いくつかの実施形態では、ネットワーク２０６は、有線データ通信システム又はデバイスによって置き換えられてもよい。
いくつかの実施形態では、システム２００の様々なコンポーネントは、図２に示すように、互いに離れていてもよく、異なる位置にあってもよく、ネットワーク２０６を介して接続されている。いくつかの代替実施形態では、システム２００のあるコンポーネントは、同じ場所又は１つのデバイスに存在してもよい。例えば、訓練データベース２０１は、モデル訓練デバイス２０２と同じ場所にあってもよく、モデル訓練デバイス２０２の一部であってもよい。別の例として、モデル訓練デバイス２０２及びインテリアデザインデバイス２０３は、同じコンピュータ又は処理デバイス内にあってもよい。
図２に示すように、モデル訓練デバイス２０２は、訓練データベース２０１と通信して、１つ又は複数組の訓練データ２１０を受信してもよい。モデル訓練デバイス２０２は、訓練データベース２０１から受信した訓練データを用いて、複数の学習モデル（例えば、訓練済み学習モデル２１２）を訓練してもよい。訓練済み学習モデル２１２は、調度情報を学習して調度計画を生成するための学習モデル、及び改装情報を学習して改装計画を生成するための学習モデルなどを含んでもよい。学習モデル２１２は、訓練データベース２０１に記憶された訓練データ２１０を用いて訓練されてもよい。
いくつかの実施形態では、訓練段階は「オンライン」又は「オフライン」で実行されてもよい。「オンライン」訓練とは、学習段階と同時に訓練段階を行うことを指す。「オンライン」訓練の利点は、その時点で利用可能な訓練データに基づいて最新の学習モデルを取得できることである。しかしながら、「オンライン」訓練を実行するには膨大な計算が必要である場合があり、訓練データが大きい場合や、モデルが複雑な場合には、必ずしも実行可能ではない。本開示によれば、訓練段階と学習段階とは別に実行される「オフライン」訓練が採用される。学習済みモデル２１２はオフラインで訓練されて保存され、インテリアデザインを支援するために再利用され得る。
モデル訓練デバイス２０２は、訓練プロセスを実行するソフトウェアによって特別にプログラムされたハードウェアで実装されてもよい。例えば、モデル訓練デバイス２０２は、プロセッサと、非一時的なコンピュータ読み取り可能な媒体とを含んでもよい。プロセッサは、コンピュータ読み取り可能な媒体に記憶された訓練プロセスの命令を実行することによって訓練を行ってもよい。モデル訓練デバイス２０２は、訓練データベース２０１、ネットワーク２０６、及び／又はユーザインターフェース（図示せず）と通信するために、入力及び出力インターフェースをさらに含んでもよい。ユーザインターフェースは、訓練データのセットを選択し、訓練プロセスの１つ又は複数のパラメータを調整し、学習モデルのフレームワークを選択又は修正し、及び／又は、訓練データ２１０に関連する真値を手動又は半自動的に提供するために使用され得る。
インテリアデザインデバイス２０３は、訓練済み学習モデル２１２を用いて、新たな室内空間や間取り図のデザイン提案を行ってもよい。インテリアデザインデバイス２０３は、モデル訓練デバイス２０２から訓練済み学習モデル２１２を受信してもよい。インテリアデザインデバイス２０３は、プロセッサと、非一時的なコンピュータ読み取り可能な媒体（図３を参照して詳細に説明する）とを含んでもよい。プロセッサは、媒体に記憶された一連のインテリアデザインプロセスの命令を実行することができる。インテリアデザインデバイス２０３は、ユーザデバイス２０４、３Ｄスキャナ２０５、ネットワーク２０６、及び／又はユーザインターフェース（図示せず）と通信するために、入力及び出力インターフェースをさらに含んでもよい。ユーザインターフェースは、インテリアデザインの提案又は可視化のための画像２１４又は間取り図２１６を受信するために使用されてもよい。ユーザインターフェースは、さらに、デザイン計画／提案及び視覚的表現を表示するためにユーザデバイス２０４に提供してもよい。
いくつかの実施形態では、ユーザデバイス２０４は、セルラーデバイス又はスマートフォン、携帯情報端末（ＰＤＡ）、ラップトップ、タブレットデバイスやウェアラブルデバイスであってもよく、ネットワーク２０６を介してインテリアデザインデバイス２０３と通信するためにネットワーク接続を提供してリソースを処理してもよい。ユーザデバイス２０４は、例えば、オンボードコンピューティングシステム又はカスタマイズされたハードウェアをさらに含んでもよい。ユーザデバイス２０４は、ユーザにデザイン支援及び提案を提供するために、インテリアデザインアプリケーションなど、指定されたサービスアプリケーションを実行することもできる。
ユーザデバイス２０４は、ユーザインタラクションのためのインターフェースを含んでもよい。例えば、インターフェースは、ユーザがユーザデバイス２０４にデータを入力するためのタッチスクリーンやキーボード（物理キーボードやソフトキーボード）であってもよい。本開示のいくつかの実施形態では、ユーザは、３Ｄスキャナ２０５によって取り込まれた画像２１４又は間取り図２１６を、ユーザデバイス２０４を介してインテリアデザインデバイス２０３に送信してもよい。本開示のいくつかの実施形態では、インテリアデザインデバイス２０３は、ユーザデバイス２０４にデザイン提案及び視覚的表現を提供してもよい。ユーザデバイス２０４は、インターフェースを介してユーザに提案及び表現を表示してもよい。例えば、ユーザデバイス２０４は、提案された家具や装飾品が挿入された、ユーザによって提供された室内空間のレンダリングビューを表示してもよい。
システム２００は、室内空間（例えば、物件１００内の部屋）の深度画像を取り込むための３Ｄスキャナ２０５をさらに含んでもよい。本開示によれば、３Ｄスキャナ２０５は、ＲＧＢ－Ｄデバイス、２Ｄ／３Ｄ ＬｉＤＡＲ、ステレオカメラ、飛行時間（ＴｏＦ）カメラなどから選択することができる。これらの３Ｄスキャナはそれぞれ、深度情報及び色情報を取得することができる。いくつかの実施形態では、３Ｄスキャナ２０５は、例えば、ユーザデバイス２０４の背面に埋め込まれるなど、ユーザデバイス２０４と一体化されてもよい。いくつかの実施形態では、３Ｄスキャナ２０５は、ユーザデバイス２０４の外部にあってもよいが、取り込まれた画像をユーザデバイス２０４に送信するために、ネットワーク２０６を介してユーザデバイス２０４に接続される。いくつかの実施形態では、取り込まれた深度画像（例えば、画像２１４）は、まずユーザデバイス２０４に送信、記憶され、次に、ユーザは、それをインテリアデザインデバイス２０３に送信するか否か、及びいつ送信するかを決定するようにしてもよい。他のいくつかの実施形態では、３Ｄスキャナ２０５は、画像２１４をインテリアデザインデバイス２０３に直接送信してもよい。
いくつかの実施形態では、３Ｄスキャナ２０５は、異なる視野角から深度画像を取得し、点群は、それぞれの異なる視野角で取得されたそれぞれの深度画像に基づいて決定できる。深度画像は、視点（３Ｄスキャナ２０５の位置）と物品表面との間の深度情報を含む画像又は画像チャンネルである。深度画像は、各画素値が収集デバイスと物品表面上のターゲット点との間の距離（Ｌ）を表すグレースケール画像と類似する。深度画像の各画素値は、２バイト又は１６ビットに等しいメモリ内の「非常に短い」長さを占める。例えば、距離Ｌの単位長さは、１／５０００ｍ（０．２ｍｍ）としてもよい。この場合、１ｍの距離に１３画素を含むことができ、１６ビットメモリに６５５３５画素値を記憶することができる。深度画像内のターゲット点を区別するのに十分であり、かつ煩雑な計算の複雑さを導入しない限り、単位は異なる長さに選択できることが想定される。これは、視覚効果と計算コストのバランスを取ることを目的とする。
図３は、本開示の実施形態による、インテリアデザインデバイス２０３の一例のブロック図である。いくつかの実施形態では、インテリアデザインデバイス２０３は、物理サーバ又はクラウド内のサービスによって実装されてもよい。他のいくつかの実施形態では、インテリアデザインデバイス２０３は、携帯電話、タブレット、又はウェアラブルデバイスなどのコンピュータ又はコンシューマ電子機器によって実装されてもよい。図３に示すように、インテリアデザインデバイス２０３は、通信インターフェース３０２、プロセッサ３０４、メモリ３０６、ストレージ３０８、及びバス３１０を含んでもよい。いくつかの実施形態では、インテリアデザインデバイス２０３は、集積回路（ＩＣ）チップ（特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）として実装される）のような単一のデバイス内の異なるモジュール、又は専用機能を有する独立したデバイスを有してもよい。インテリアデザインデバイス２０３のコンポーネントは、集積デバイス内に配置されてもよく、異なる場所に分散して配置され、ネットワーク（図示せず）を介して互いに通信してもよい。インテリアデザインデバイス２０３の様々なコンポーネントは、バス３１０を介して相互に接続、通信可能である。
通信インターフェース３０２は、直接通信リンク、無線ローカルエリアネットワーク（ＷＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、電波を使用する無線通信ネットワーク、セルラーネットワーク及び／又はローカル無線ネットワーク（例えばブルートゥースＴＭ又はＷｉＦｉ）又は他の通信方法を介して、ユーザデバイス２０４及び３Ｄスキャナ２０５のようなコンポーネントとの間でデータを送受信してもよい。いくつかの実施形態では、通信インターフェース３０２は、統合サービスデジタルネットワーク（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、又はデータ通信接続を提供するモデムであってもよい。別の例として、通信インターフェース３０２は、互換性のあるＬＡＮとのデータ通信接続を提供するローカルエリアネットワーク（ＬＡＮ）カードであってもよい。無線リンクも、通信インターフェース３０２によって実装されてもよい。このような実装では、通信インターフェース３０２は、様々なタイプの情報を表すデジタルデータストリームを搬送する電気的、電磁的、又は光信号をネットワークを介して送受信してもよい。
いくつかの実施形態によれば、通信インターフェース３０２は、３Ｄスキャナ２０５によって取り込まれた深度画像（例えば、画像２１４）を受信してもよい。いくつかの実施形態では、通信インターフェース３０２、ユーザデバイス２０４を介してユーザによって提供された間取り図２１６及び他のデザイン嗜好をさらに受信することもできる。他のいくつかの実施形態では、通信インターフェース３０２もモデル訓練デバイス２０２から訓練済み学習モデル２１２を受信してもよい。通信インターフェース３０２は、受信した情報又はデータを、記憶用にメモリ３０６及び／又はストレージ３０８に、又は処理用にプロセッサ３０４に提供してもよい。
プロセッサ３０４は、任意の適切なタイプの汎用又は専用マイクロプロセッサ、デジタル信号プロセッサ、又はマイクロコントローラを含んでもよい。プロセッサ３０４は、インテリアデザインに専用の独立したプロセッサモジュールとして構成されてもよい。あるいは、プロセッサ３０４は、インテリアデザインに関連する又は関係しない他の機能を実行するための共有プロセッサモジュールとして構成されてもよい。例えば、インテリアデザインアプリケーションは、多機能デバイスにインストールされている一つのアプリケーションに過ぎない。
図３に示すように、プロセッサ３０４は、調度ユニット３４０、改装ユニット３４２、及びビューレンダリングユニット３４４などの複数のモジュールを含んでもよい。これらのモジュール（及び任意の対応するサブモジュール又はサブユニット）は、他のコンポーネントと共に使用するか、又はプログラムの一部を実行するように設計されているプロセッサ３０４のハードウェアユニット（例えば、集積回路の一部）であってもよい。プログラムは、コンピュータ読み取り可能な媒体（例えば、メモリ３０６及び／又はストレージ３０８）に記憶され、プロセッサ３０４によって実行されるときに、１つ又は複数の機能を実行するようにしてもよい。図３は、ユニット３４０～３４４が全て１つのプロセッサ３０４内にある場合を示しているが、これらのユニットは、互いに近接しているか又は離れている複数のプロセッサに分散されてもよいことが想定される。
メモリ３０６及びストレージ３０８は、プロセッサ３０４が操作する可能性のある任意のタイプの情報を記憶するための任意の適切なタイプの大容量メモリを含んでもよい。メモリ３０６及びストレージ３０８は、揮発性又は不揮発性、磁気的、半導体的、磁気テープ、光学的、取り外し可能、非取り外し可能、又は他のタイプの記憶デバイス、又は有形の（すなわち非一時的な）コンピュータ読み取り可能な媒体（ＲＯＭ、フラッシュメモリ、ダイナミックＲＡＭ、及びスタティックＲＡＭを含むが、これらに限定されない）とすることができる。メモリ３０６及び／又はストレージ３０８は、本明細書で開示されているように、プロセッサ３０４によって実行され得ること画像処理、インテリアデザイン提案、及びビューレンダリングを実行するために、プロセッサ３０４によって実行される１つ又は複数のコンピュータプログラムを記憶するように構成されてもよい。例えば、メモリ３０６及び／又はストレージ３０８は、ユーザによって提供された画像に描かれた実際の空間について家具を提案し、その後、実際の空間に提案された又はユーザによって選択された家具を示すビューをレンダリングするために、プロセッサ３０４によって実行されるプログラムを記憶するように構成されてもよい。
メモリ３０６及び／又はストレージ３０８は、さらに、プロセッサ３０４によって使用される情報及びデータを記憶するように構成されてもよい。例えば、メモリ３０６及び／又はストレージ３０８は、例えば画像２１４、間取り図２１６、ユーザ嗜好データ、及び訓練済み学習モデル２１２など、インテリアデザインデバイス２０３によって受信された様々なデータを記憶するように構成されてもよい。メモリ３０６及び／又はストレージ３０８は、プロセッサ３０４によって生成された中間データ、例えば、画像２１４内の様々な物品の点群データ、空間に対して選択された調度品の属性、構造データ、学習モデルを用いて学習された調度情報又は改装情報、間取り図に対して生成された改装又は調度計画、及び改装又は調度／再調度された空間を可視化するためにレンダリングされたビューを記憶するように構成されてもよい。様々なタイプのデータは、永続的に保存したり、定期的に削除したり、処理直後に無視したりすることができる。
図４は、本開示の実施形態によるユーザデバイス２０４の一例を示す。いくつかの実施形態では、ユーザデバイス２０４は、深度画像を取り込むための統合カメラ４１０を含んでもよい。例えば、カメラ４１０は、上述した３Ｄスキャナ２０５であってもよい。いくつかの実施形態では、ディスプレイ４２０は、さらに、ユーザ入力を受信するユーザインターフェースとして機能することができる。非限定的な例として、ディスプレイ４２０は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、プラズマディスプレイ、又は任意の他のタイプのディスプレイであってもよい。いくつかの実施形態では、ユーザデバイス２０４は、取り込まれた画像を表示するディスプレイ４２０をさらに含んでもよい。ディスプレイ４２０は、プラスチック又はガラスのような複数の異なるタイプの材料を含んでもよく、ユーザからのコマンドを受信するためにタッチセンシングであってもよい。例えば、ディスプレイは、Ｇｏｒｉｌｌａ ＧｌａｓｓＴＭのような実質的に剛性のタッチセンシング材料又はＷｉｌｌｏｗ ＧｌａｓｓＴＭのような実質的に柔軟なタッチセンシング材料を含んでもよい。
いくつかの実施形態では、ディスプレイ４２０は、ユーザ入力及びデータ表示のためにディスプレイ上に展示されるグラフィカルユーザインターフェース（ＧＵＩ）４２２を提供してもよい。例えば、ＧＵＩ ４２２は、ユーザが押圧して深度画像を取得するためのソフトボタン４２４を表示してもよい。ユーザは、カメラ４１０が物件１００のビューを取り込むようにユーザデバイス２０４を持ち上げることができ、このビューはディスプレイ４２０に表示され得る。ビューが所望の方向及び物品を表示したときに、ユーザは、ソフトボタン４２４を押して、このビューを画像として取り込むことができる。例えば、図５は、本開示の実施形態による、調度品５１０～５６０を示す室内空間の画像５００の一例である。図１に示すように、画像５００によって描かれる室内空間は、物件１００内の大部屋１１０の一部であってもよい。本開示によれば、調度品は家具や飾り物を広範囲に含んでもよい。図５に示すように、画像５００は、ソファ５１０、花瓶５２２が置かれたコーヒーテーブル５２０、１対のオットマン５３０、５４０、装飾瓶５５２が置かれたコンソールテーブル５５０や壁に掛けられた絵５６０などの調度品を含む。
ユーザデバイス２０４は、異なるユーザ入力を受信するための様々な物理的ボタンをさらに含んでもよい。例えば、物理的ボタン５３０は、押下されると、様々なアプリケーションを表示するメインメニューに戻るホームボタンであってもよい。ユーザは、アプリケーション（例えば、インテリアデザインアプリケーション）を選択することでインテリアデザインプロセスを開始してもよい。
インテリアデザインデバイス２０３、ユーザデバイス２０４及び３Ｄスキャナ２０５（カメラ４１０として、又はユーザデバイス２０４の外部に一体化されている）は、インテリアデザイン計画／提案を生成し、そのようなデザインを可視化するための方法、例えば図６～１２のフローチャートに示される方法を実行するように構成されてもよい。
図６は、本開示の実施形態による、室内空間の画像内の調度品を可視化するための方法６００の一例のフローチャートである。いくつかの実施形態では、方法６００は、インテリアデザインデバイス２０３のプロセッサ３０４、例えば、調度ユニット３４０及びビューレンダリングユニット３４４によって実行されてもよい。方法６００は、下記のようなステップ６０２～６１０を含んでもよい。なお、ステップの一部は、本明細書で提供された開示内容を実行するために任意であってもよい。さらに、ステップの一部は、同時に実行されてもよく、図６に示された順序とは異なる順序で実行されてもよい。説明のために、方法６００は、画像５００及びその内の調度品（図５参照）を可視化するものとして説明される。しかしながら、方法６００は、物件の他の空間の調度を可視化するものとして実装されてもよい。
ステップ６０２において、インテリアデザインデバイス２０３は、図５に示されるような調度品５１０～５６０が備え付されている画像５００など、調度品が備え付されている室内空間の画像を受信することができる。画像は、３Ｄスキャナ２０５又はカメラ４１０によって取り込まれてもよく、ユーザによってユーザデバイス２０４を介して送信されるように選択されてもよい。いくつかの実施形態では、画像は、室内空間の深度情報を保持する深度画像であってもよい。
ステップ６０４において、調度ユニット３４０は、既存の調度品を画像から除去することができる。例えば、調度品５１０～５６０の一部又は全部を画像５００から除去してもよい。いくつかの実施形態では、調度ユニット３４０は、物品検出方法（例えば畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ， ＣＮＮ）に基づく検出方法）を用いて、まず画像内の調度品を検出し、その後、それらの調度品に対応する画素を画像から削除してもよい。ＣＮＮモデルは、モデル訓練デバイス２０２によって訓練された学習モデル２１２の一部であってもよい。画素の削除は、画素値を所定の値（例えば、０）に置き換えることにより実装することができる。調度品を除去した結果、それまで調度品が占有していた空白領域（穴と呼ばれる）が画像に残ることがある。この空白領域は、調度品の輪郭を規定する。
いくつかの実施形態では、図７は、本開示の実施形態による、室内空間の画像内の既存の調度品を除去するための方法７００の一例のフローチャートである。いくつかの実施形態では、方法７００は、方法６００のステップ６０４を実行するために、調度ユニット３４０によって実装されてもよい。方法７００は、下記のようなステップ７０２～７０８を含んでもよい。なお、ステップの一部は、本明細書で提供された開示内容を実行するために任意であってもよい。さらに、ステップの一部は、同時に実行されてもよく、図７に示された順序とは異なる順序で実行されてもよい。
ステップ７０２において、調度ユニット３４０は、深度情報に基づいて、画像の３Ｄ点群データを決定することができる。いくつかの実施形態では、画像４００は、深度情報のチャンネルを有する深度画像であってもよい。深度情報は、視点（例えば、３Ｄスキャナ２０５の位置）と、取り込まれている物品の表面上の各点との間の距離を示す。調度ユニット３４０は、これらの距離に基づいて画像の３Ｄ点群データを決定することができる。各点群データ点は、１組の３Ｄ座標で表されてもよい。
ステップ７０４において、調度ユニット３４０は、画像内の調度品のターゲット点群データを識別することができる。いくつかの実施形態では、画像の３Ｄ点群データは、それぞれが１つの調度品に対応する複数のサブセットに分割されてもよい。例えば、ソファ５１０、コーヒーテーブル５２０、及び１対のオットマン５３０、５４０に対応する点群データを、３Ｄ点群データから分割してもよい。ユーザによる１つ又は複数の調度品の選択に基づいて、調度ユニット３４０は、対応する点群データのサブセットをターゲット点群データとして選択することができる。
ステップ７０６において、調度ユニット３４０は、ターゲット点群データに基づいて、画像内の調度品の位置を決定することができる。例えば、ターゲット点群データに基づいて、ソファ５１０、コーヒーテーブル５２０、及び１対のオットマン５３０、５４０の位置を決定してもよい。いくつかの実施形態では、調度ユニット３４０は、調度品の位置を限定するターゲット点群データを用いて、調度品の輪郭を決定してもよい。いくつかの実施形態では、学習モデルを用いて、調度品の輪郭を学習してもよい。学習モデルは、調度品及びそれに対応する輪郭ラベルの訓練点群データを用いて、モデル訓練デバイス２０２によって訓練される学習モデル２１２の一部であってもよい。例えば、訓練画像は、様々なスタイル又は寸法のソファ及びその輪郭ラベルを含んでもよく、これに対応して、訓練済み学習モデルは、画像５００からソファ５１０の輪郭を学習してもよい。
ステップ７０８において、調度ユニット３４０は、決定された調度品の位置に基づいて、画像から調度品を除去することができる。いくつかの実施形態では、調度ユニット３４０は、決定された輪郭内の画素値を所定の値、例えば０（白に対応する）にリセットしてもよい。
図６に戻り、ステップ６０６において、調度ユニット３４０は画像を復元することができる。いくつかの実施形態では、画像は、前に調度品によって塞がれた室内空間のシーンで空白領域を埋めることによって復元されてもよい。例えば、画像５００からソファ５１０及びコンソールテーブル５５０を除去した後に、残った空白領域を、除去された物品によって塞がれた壁、窓やカーテンのシーンで埋めてもよい。コーヒーテーブル５２０及び１対のオットマン５３０、５４０を除去して残った空白領域を、別に図示した床と一致する床やカーペットで埋めてもよい。
いくつかの実施形態では、ニューラルネットワークを用いて画像を復元してもよい。いくつかの実施形態では、調度ユニット３４０は、ステップ６０４によって得られた画像を訓練済みニューラルネットワークに入力することで、回復された画像を取得することができる。ニューラルネットワークは、空白領域の特徴を学習するために、画像内の空白領域以外の領域から特徴を抽出する。回復用のニューラルネットワークは、モデル訓練デバイス２０２によって訓練された学習モデル２１２の一部であってもよい。例えば、ニューラルネットワークは、調度品除去画像及びそれに対応する復元画像を含むサンプル画像対に基づく画像修復アルゴリズムを用いて訓練されてもよい。いくつかの実施形態では、ニューラルネットワークは勾配降下法又は逆伝播法を用いて訓練されてもよく、これらの２つの方法は、ネットワークによって出力された復元画像と、訓練データの一部として提供された真値復元画像との間の差異を最小化するように、ネットワークパラメータを徐々に調整する。訓練は反復プロセスであってもよく、以下の条件の少なくとも１つを満たすと終了する。（１）訓練時間が所定の時間長を超えること、（２）反復回数が所定の反復閾値を超えること、（３）ネットワークによって出力された復元画像と真値復元画像とに基づいて算出される損失関数（例えば、クロスエントロピー損失関数）が、所定の損失閾値未満であること。訓練は「オンライン」又は「オフライン」で実行されることが想定される。
ステップ６０８において、調度ユニット３４０は、新しい調度品を取得し、復元画像のターゲット位置に挿入することができる。いくつかの実施形態では、ターゲット位置は、除去された調度品の位置である。ターゲット位置は、画像中心を原点として構築された座標系における座標で示されてもよい。新しい調度品は、メモリ３０６又はストレージ３０８のようなローカルストレージから、又はネットワーク２０６を介して記憶デバイスから遠隔的に取得されてもよい。いくつかの実施形態では、新しい調度品は、ユーザによってユーザデバイス２０４を介して選択又は提供されてもよい。いくつかの実施形態では、本開示の図８を参照して説明されるように、新しい調度品は、調度ユニット３４０によって自動的に選択され、ユーザに提案されてもよい。
ステップ６１０において、調度ユニット３４０は、復元された画像内に挿入された新しい調度品を調整することができる。いくつかの実施形態では、新しい調度品の寸法をターゲット寸法に調整してもよい。例えば、除去された調度品の寸法及び形状に基づいてターゲット寸法を決定してもよい。その結果、挿入された新しい調度品を、除去された調度品が前に占有していた領域に収まることができる。具体的には、調度ユニット３４０は、その点群データに基づいて決定された新しい調度品の寸法に基づいて、新しい調度品のための３Ｄモデルを構築することができる。その後、調度ユニット３４０は、３Ｄ点群データから調度品を除去して残った「穴」に収まるように３Ｄモデルの寸法を調整する。したがって、新しい調度品のターゲット寸法は、除去された調度品のターゲット点群データの３Ｄ寸法に適合することができる。
他のいくつかの実施形態では、ターゲット寸法は、除去された調度品の物理的寸法と、画像によって取り込まれた空間の物理的寸法との間の比に基づいて決定されてもよい。例えば、挿入された新しい調度品の高さが１ｍであり、撮像空間の高さが３ｍである場合、挿入された新しい調度品を画像の１／３の大きさに調整してもよい。
ビューレンダリングユニット３４４は、新しい調度品が備え付されている空間の３Ｄビューをレンダリングし、表示用のユーザデバイス２０４に送信してもよい。挿入された調度品の寸法を調整することにより、調度品は撮像空間内に良好に融合することができる。したがって、再調度された空間の可視化をより現実に近いものとすることができる。
図８は、本開示の実施形態による、室内空間のための新しい調度品を提案するための方法８００の一例のフローチャートである。いくつかの実施形態では、方法８００は、インテリアデザインデバイス２０３のプロセッサ３０４、例えば、調度ユニット３４０及びビューレンダリングユニット３４４によって実行されてもよい。方法８００は、下記のようなステップ８０２～８１８を含んでもよい。なお、ステップの一部は、本明細書で提供された開示内容を実行するために任意であってもよい。さらに、ステップの一部は、同時に実行されてもよく、図８に示された順序とは異なる順序で実行されてもよい。説明のために、方法６００は、画像５００によって描かれる空間を調度することに関しても説明する（図５参照）。しかしながら、方法８００は、物件の他の空間を調度するために実装することができる。
ステップ８０２において、ステップ６０２と同様に、インテリアデザインデバイス２０３は、調度品が備え付されている室内空間の画像、例えば図５に示すように調度品５１０～５６０が備え付されている画像５００を受信することができる。
ステップ８０４において、調度ユニット３４０は、学習モデルを用いて、画像内の調度品の特徴情報を決定することができる。例えば、画像５００内の調度品５１０～５６０の特徴情報を学習してもよい。本開示によれば、特徴情報は、調度品を定義する特徴、例えば、そのカテゴリ、スタイル、寸法や機能などであってもよい。いくつかの実施形態では、調度ユニット３４０は、物品検出方法（例えばニューラルネットワークに基づく物品検出器）を用いて、調度品及びその特徴を検出してもよい。
ニューラルネットワークは、調度品の画像と特徴との間のマッピングを学習することができる。いくつかの実施形態では、ニューラルネットワークは、初期モデルとしてシングルショットマルチボックス検出器（ＳＳＤ）又は変形可能部品モデル（ＤＰＭ）を用いるモデル訓練デバイス２０２によって訓練されてもよい。その後、訓練中に（モデルパラメータを調整することにより）初期モデルを調整する。ニューラルネットワークは、サンプル画像及び真値物品特徴を用いて訓練されてもよい。訓練プロセスの各反復の間、訓練画像がモデルに入力され、モデルからの出力特徴が真値物品特徴と比較される。モデルパラメータは、両者の差異に基づいて調整される。訓練は、次の停止基準の少なくとも１つを満たすと終了する。（１）訓練時間が所定の時間長を超えること、（２）反復回数が所定の反復閾値を超えること、（３）モデルからの出力特徴と真値物品特徴とに基づいて算出される損失関数（例えばクロスエントロピー損失関数）が、所定の損失閾値未満であること。訓練は「オンライン」又は「オフライン」で実行されることが想定される。
ステップ８０６において、調度ユニット３４０は、深度情報に基づいて、画像の３Ｄ点群データを決定する。いくつかの実施形態では、画像４００は、深度情報のチャンネルを有する深度画像であってもよい。深度情報は、視点（例えば、３Ｄスキャナ２０５の位置）と、取り込まれている物品の表面上の各点との間の距離を示す。調度ユニット３４０は、これらの距離に基づいて画像の３Ｄ点群データを決定することができる。各点群データ点は、１組の３Ｄ座標で表されてもよい。
ステップ８０８において、調度ユニット３４０は、３Ｄ点群データに基づいて、画像内の調度品の寸法情報を決定する。いくつかの実施形態では、３Ｄ点群データは、それぞれが１つの調度品に対応する複数のサブセットに分割されてもよい。調度ユニット３４０は、対応する点群データのサブセット内のデータ点の３Ｄ座標に基づいて、各調度品の寸法情報を決定することができる。
ステップ８１０において、調度ユニット３４０は、ステップ８０４で決定された特徴情報及び／又はステップ８０８で決定された寸法情報に基づいて、調度品の属性を決定することができる。いくつかの実施形態では、属性は、特徴情報、寸法情報、又はその両方の組み合わせであってもよい。いくつかの実施形態では、属性は、型番、製品番号（例えば、ＵＰＣ）や製品名など、調度品の他の情報をさらに含んでもよい。
ステップ８１２において、調度ユニット３４０は、調度品の属性に基づいて、室内空間にマッチングしないターゲット調度品を選択することができる。いくつかの実施形態では、調度ユニット３４０は、調度品が室内空間にマッチングするか否かをスタイルに基づいて決定してもよい。ステップ８１０で説明されるように、調度品のスタイルは、調度品の属性として含まれる特徴情報の一部であってもよい。調度品の例示的なスタイルには、ヨーロッパスタイル、東洋スタイル、現代的なスタイル、モダンなスタイルなどが含まれる。いくつかの実施形態では、ステップ８０４で説明された物品検出学習ネットワークによって、調度品のスタイルを学習してもよい。例えば、ソファ５１０、コーヒーテーブル５２０及び１対のオットマン５３０、５４０は、すべて現代的なスタイルであってもよい。室内空間のスタイルは、その空間内の調度品のスタイルによって一括して定義されてもよい。例えば、調度品の大部分が東洋スタイルである場合、室内空間は東洋スタイルであると決定される。調度品５１０～５４０はいずれも現代的なスタイルであるため、画像５００に描かれた室内空間も現代的なスタイルである。その後、調度ユニット３４０は、各調度品のスタイルと室内空間のスタイルとを比較して、マッチングするか否かを決定することができる。調度品が東洋スタイルであるが、室内空間が現代的なスタイルである場合、この調度品をマッチングしないターゲット調度品として識別する。
いくつかの実施形態では、調度ユニット３４０は、調度品の寸法に基づいて、調度品が室内空間にマッチングするか否かを決定してもよい。ステップ８１０で説明されるように、調度品の寸法情報もその属性として含まれてもよい。いくつかの実施形態では、調度品の寸法が室内空間の占有されていない寸法よりも大きい場合、調度品は室内空間にマッチングしないターゲット調度品として決定されてもよい。いくつかの代替実施形態では、マッチングしない調度品が選択されるとき、調度ユニット３４０は、特徴情報（例えば、スタイル）及び寸法情報を総合的に考慮してもよい。
ステップ８１４において、調度ユニット３４０は、ターゲット物品が画像に描かれた室内空間にマッチングしない旨の指示を生成することができる。いくつかの実施形態では、指示は、画像、テキスト、聴覚信号などのうちの少なくとも１つの形態であってもよい。例えば、指示は「家具のスタイルが部屋にマッチングしません。交換を検討してください」というテキストメッセージであってもよい。別の例として、指示は、部屋の画像においてマッチングしない家具を強調表示するものであってもよい。さらに別の例として、指示は、マッチングしない家具を識別する音声メッセージであってもよい。いくつかの実施形態では、指示は、画像とテキストメッセージとの組み合わせのように複数の形態を含んでもよい。指示は、ユーザに表示するためにユーザデバイス２０４に送信されてもよい。
ステップ８１６において、調度ユニット３４０は、属性に基づいて、物品データベースから物品情報を選択することができる。本開示によれば、物品情報は、物品名、カテゴリ、画像や原産地などのうちの少なくとも１つを含んでもよい。例えば、物品情報は、調度品の特徴情報を含んでもよい。いくつかの実施形態では、物品データベースは、メモリ３０６又はストレージ３０８のようなインテリアデザインデバイス２０３にローカルに記憶されてもよい。他のいくつかの実施形態では、物品データベースは、クラウドのようなインテリアデザインデバイス２０３に対して遠隔的に記憶されてもよい。
いくつかの実施形態では、物品情報は、ステップ８１２で決定された室内空間のスタイルに応じて選択されてもよい。例えば、物品情報は、室内空間と同じスタイルの調度品の特徴情報であってもよい。一例として、室内空間が東洋スタイルである場合、調度ユニット３４０は、東洋スタイルの調度品を選択し、その調度品の他の特徴情報（例えば、物品名、カテゴリ、画像や原産地）を物品情報として選択してもよい。
いくつかの実施形態では、物品情報は、室内空間の寸法に応じて選択されてもよい。例えば、物品情報は、室内空間の寸法に合わせた適切な大きさを有する調度品の特徴情報であってもよい。いくつかの実施形態では、調度ユニット３４０は、画像寸法と、所定の第１の比率（範囲を決定するための下限）及び第２の比率（範囲を決定するための上限）とに基づいて、物品寸法の範囲を決定してもよい。この範囲内の寸法を有する調度品の物品情報は、調度ユニット３４０により選択される。いくつかの代替実施形態では、調度ユニット３４０は、物品情報を選択する際に、特徴情報（例えば、スタイル）及び寸法情報を総合的に考慮してもよい。
ステップ８１８において、調度ユニット３４０は、物品情報に応じて提案を生成することができる。いくつかの実施形態では、指示は、画像、テキスト、聴覚信号などのうちの少なくとも１つの形態であってもよい。例えば、指示は、物品情報（例えば、物品名、カテゴリ、画像や原産地）を示すテキストメッセージであってもよい。別の例として、指示は、物品情報を満たす提案調度品が備え付されている部屋画像であってもよい。調度ユニット３４０は、物品情報に基づいて適切な調度品を識別し、例えば方法６００を実行することにより、画像内にマッチングしない調度品を新しい調度品で差し替えてもよい。さらに別の例として、指示は、物品情報を解釈する音声メッセージであってもよい。いくつかの実施形態では、指示は、画像とテキストメッセージとの組み合わせのように複数の形態を含んでもよい。この提案は、ユーザに表示するためにユーザデバイス２０４に送信されてもよい。
図９は、本開示の実施形態による、物件の改装情報を学習するためにニューラルネットワークを訓練するための方法９００の一例のフローチャートである。いくつかの実施形態では、方法９００は、モデル訓練デバイス２０２によって実行されてもよい。方法９００は、下記のようなステップ９０２～９１０を含んでもよい。なお、ステップの一部は、本明細書で提供された開示内容を実行するために任意であってもよい。さらに、ステップの一部は、同時に実行されてもよく、図９に示された順序とは異なる順序で実行されてもよい。
ステップ９０２において、モデル訓練デバイス２０２は、サンプル間取り図及び対応するサンプル改装データを受信する。例えば、モデル訓練デバイス２０２は、訓練データベース２０１からそのような訓練データを受信してもよい。間取り図は、物件の構造やレイアウトを説明する図であってもよい。例えば、間取り図は、物件１００を異なる機能部屋１１０～１３０に分割する構造や、各部屋の詳細な形状や寸法を説明することができる。いくつかの実施形態では、サンプル間取り図は、コンピュータ支援デザイン（ＣＡＤ）モデリングツールによって生成してもよい。間取り図の各例には、壁、カウンター、階段、窓やドアなどの構造が表示されてもよい。いくつかの実施形態では、サンプル間取り図は、ベクトル図であってもよい。
対応するサンプル改装データは、構造改装情報を含んでもよい。いくつかの実施形態では、構造改装は、例えば、壁を撤去すること、壁を半分に縮小すること、壁を追加すること、壁を異なる場所に移動すること、窓を撤去／拡大／挿入すること、又はドアを撤去／挿入することなどを含んでもよい。したがって、サンプル改装データは、改装すべき各構造のアイデンティティと、例えば構造の位置、改装前後の構造の寸法などを含む改装説明とを含んでもよい。いくつかの実施形態では、構造改装情報は、構造ヒートマップをさらに含んでもよい。構造ヒートマップには、改装用の構造（壁、窓、ドアなど）と、その構造を改装する必要がある確率が反映される。
ステップ９０４において、モデル訓練デバイス２０２は、サンプル間取り図に対応するサンプル構造データを取得することができる。いくつかの実施形態では、サンプル間取り図は、例えば、壁分布データ、耐力壁分布データ、窓／ドア分布データ、面積データ、天井高さデータ、構造位置座標などを含む、対応する構造データを含んでもよい。
ステップ９０６において、モデル訓練デバイス２０２は、サンプル構造データに注釈を付けて、間取り図の特徴情報及び／又はグレーディング情報のような情報を追加することができる。いくつかの実施形態では、間取り図の特徴情報は、例えば、広さ、居住者の数、収納空間、照明条件、物件の建設年などを含んでもよい。いくつかの実施形態では、サンプル構造データをグレーディングしてグレーディング情報を生成してもよい。例えば、耐力壁分布や窓／ドア分布は、グレーディングされてもよい。いくつかの実施形態では、グレーディング情報は、構造データの品質を示す数値（例えば、０～１００のスケールで）又は等級レベル（例えば、Ａ～Ｆ）であってもよい。特徴情報及びグレーディング情報は、サンプル間取り図の対応する構造に注釈されたり、対応するサンプル構造データに付加されたりすることができる。
ステップ９０８において、モデル訓練デバイス２０２は、注釈された構造データに基づいて、第１の簡易間取り図を決定することができる。いくつかの実施形態では、モデル訓練デバイス２０２は、サンプル構造データ、特に耐力壁分布データに基づいて耐力壁を識別してもよい。その後、モデル訓練デバイス２０２は、耐力壁に基づいて第１の簡易間取り図を決定する。例えば、第１の簡易間取り図には、耐力壁、及び耐力壁におけるドアや窓だけが含まれてもよい。サンプル間取り図に耐力壁がない場合、第１の簡略間取り図を、最初に受信したサンプル間取り図として設定してもよい。
ステップ９１０において、モデル訓練デバイス２０２は、改装情報を学習するためのニューラルネットワークを訓練することができる。いくつかの実施形態では、サンプル間取り図（これから導出されたサンプル構造データ及び第１の簡易間取り図を有する）と、それに対応するサンプル改装データとを用いて、ニューラルネットワークを訓練してもよい。いくつかの実施形態では、ニューラルネットワークは、改装嗜好のために訓練される。例えば、改装嗜好は、物件内の収納空間を増加させること、又は全体的な居住体験を改善すること（例えば、より快適であること）であってもよい。したがって、改装嗜好を反映する損失関数を用いてニューラルネットワークを訓練することができる。例えば、改装嗜好として収納空間を増加させることに設定されている場合、損失関数は、物件内の収納空間の総面積として計算され得る。
いくつかの実施形態では、訓練は反復プロセスであってもよい。ニューラルネットワークは、各反復において、サンプル間取り図、構造データ、及び簡易間取り図に基づいて、構造改装情報を生成する。いくつかの実施形態では、ニューラルネットワークは、勾配降下法又は逆伝播法を用いて訓練されてもよく、これらの２つの方法は、ネットワークによって出力された構造改装情報と、ステップ９０２において訓練データの一部として提供された真値サンプル改装データとの間の差異を最小化するように、ネットワークパラメータを徐々に調整する。訓練は次の条件の少なくとも１つを満たすと終了する。（１）訓練時間が所定の時間長を超えること、（２）反復回数が所定の反復閾値を超えること、（３）ネットワークによって出力された構造改装情報と真値改装データとに基づいて算出される損失関数（例えば、クロスエントロピー損失関数）が、所定の損失閾値未満であること。訓練は「オンライン」又は「オフライン」で実行されることが想定される。
いくつかの実施形態では、ニューラルネットワークは、フロアネットモデルのような任意の適切な構造を採用してもよい。ニューラルネットワークは、入力層と、中間層と、出力層とを含んでもよく、各層は、その前の層の出力を入力として受信する。いくつかの実施形態では、中間層はコンボリューション層であってもよい。いくつかの実施形態では、中間層は完全接続層であってもよい。
図１０は、本開示の実施形態による、物件の改装計画を生成するための方法１０００の一例のフローチャートである。いくつかの実施形態では、方法１０００は、インテリアデザインデバイス２０３のプロセッサ３０４、例えば改装ユニット３４２及びビューレンダリングユニット３４４によって実行されてもよい。方法１０００は、以下のようなステップ１００２～１０１４を含んでもよい。なお、ステップの一部は、本明細書で提供された開示内容を実行するために任意であってもよい。さらに、ステップの一部は、同時に実行されてもよく、図１０に示された順序とは異なる順序で実行されてもよい。説明のために、方法１０００は、物件１００（例えば図１参照）を例として説明される。しかしながら、方法１０００は、他の空間又は他の物件を改装するものとして実装されてもよい。
ステップ１００２において、改装ユニット３４２は、改装が必要な間取り図を受信する。例えば、改装ユニット３４２は、ユーザデバイス２０４を介してユーザによって提供された間取り図２１６を受信してもよい。間取り図２１６は、物件の構造やレイアウトを説明する図であってもよい。例えば、間取り図２１６は、物件１００を異なる機能部屋１１０～１３０に分割する構造や、各部屋の詳細な形状及び寸法を説明することができる。間取り図２１６は、壁、カウンター、階段、窓やドアなどの構造を示すことができる。いくつかの実施形態では、間取り図２１６は、ＣＡＤモデリングツールによって生成されたベクトル図であってもよい。
ステップ１００４において、改装ユニット３４２は、間取り図に対応する構造データを取得することができる。いくつかの実施形態では、間取り図２１６は、例えば、壁分布データ、耐力壁分布データ、窓／ドア分布データ、面積データ、天井高さデータ、構造位置座標などを含む、対応する構造データを含んでもよい。
ステップ１００６において、改装ユニット３４２は、構造データに基づいて第２の簡易間取り図を決定することができる。いくつかの実施形態では、改装ユニット３４２は、構造データ、特に耐力壁分布データに基づいて物件の耐力壁を識別してもよい。その後、改装ユニット３４２は、耐力壁に応じて第２の簡易間取り図を決定する。例えば、第２の簡易間取り図には、耐力壁、及び耐力壁におけるドアや窓のみが含まれてもよい。物件に耐力壁がない場合、第２の簡易間取り図面を、最初に受信した間取り図面として設定してもよい。
ステップ１００８において、改装ユニット３４２は、第２の簡易間取り図、最初に受信された間取り図、及び構造データに基づいて構造改装情報を学習することができる。いくつかの実施形態では、構造改装情報は、方法９００を用いて訓練されたニューラルネットワークを適用することによって学習されてもよい。構造改装情報は、改装すべき各構造のアイデンティティと、例えば構造の位置、改装前後の構造の寸法、及び対応する構造ヒートマップなどを含む改装説明とを含んでもよい。
いくつかの実施形態では、構造改装情報は、例えばユーザデバイス２０４を介してユーザによって提供された改装嗜好に応じて生成される。例えば、改装嗜好は、物件内の収納空間を増加させること、又は全体的な居住体験を改善すること（例えば、より快適であること）であってもよい。したがって、ステップ１００８において、改装嗜好を反映するように訓練されたニューラルネットワークを使用してもよい。
ステップ１０１０において、改装ユニット３４２は、構造改装情報に基づいて改装計画を生成することができる。いくつかの実施形態では、改装計画が生成されるときに、改装ユニット３４２は、特定の所定の改装決定ルール（例えば、建築規制）に従って構造改装情報を処理してもよい。いくつかの実施形態では、改装ユニット３４２は、構造改装情報を最適化するための拘束条件として改装決定ルールを使用してもよい。例えば、モンテカルロ探索木（ＭＣＳＴ）アルゴリズムを使用してもよい。
いくつかの実施形態では、改装決定ルールは予めに決定されてもよい。例えば、整数計画法などで決定された各構造のピボットポイントを拘束条件として用いる。したがって、ヒートマップ内の構造を木ノードとしてモンテカルロ探索木を構築することができる。その後、ＭＣＳＴアルゴリズムは、改装すべき構造（例えば、壁、窓やドア）を識別するために、木ノードをトラバースすることによって、学習された構造ヒートマップをトラバースする。識別された構造は、すべての改装決定ルールを満たし、改装計画の全体的な改装確率を最大化しなければならない。改装計画の全体的な改装確率は、識別される改装すべき構造の対応する確率（ヒートマップによる）の総和又は加重総和であってもよい。
改装すべき構造を識別した後、改装情報に応じて改装計画を生成することができる。いくつかの実施形態では、改装計画は、改装した物件を反映する調整済み間取り図を含んでもよい。
ステップ１０１２において、さらに、改装ユニット３４２は、改装計画を説明する説明情報を生成することができる。いくつかの実施形態では、改装ユニット３４２は、元の間取り図を改装計画と比較し、差異に応じて説明情報を生成してもよい。例えば、説明情報は、壁を撤去すること、壁を半分に縮小すること、壁を追加すること、壁を異なる場所に移動すること、窓を撤去／拡大／挿入すること、又はドアを撤去／挿入することなど、行われるべき構造的変更を説明することができる。説明情報には、改装に必要な建材や改装完了に要する予想時間などの改装計画に関連する情報がさらに含まれてもよい。
ステップ１０１４において、改装ユニット３４２は、改装計画及び説明情報をユーザに送信することができる。例えば、改装計画及び説明情報は、表示するためにユーザデバイス２０４に送信されてもよい。
図１１は、本開示の実施形態による、物件の調度情報を学習するためにニューラルネットワークを訓練する方法１１００の一例のフローチャートである。いくつかの実施形態では、方法１１００は、モデル訓練デバイス２０２によって実行されてもよい。方法１１００は、以下のようなステップ１１０２～１１１０を含んでもよい。なお、ステップの一部は、本明細書で提供された開示内容を実行するために任意であってもよい。さらに、ステップの一部は、同時に実行されてもよく、図１１に示された順序とは異なる順序で実行されてもよい。
ステップ１１０２において、モデル訓練デバイス２０２は、第１のサンプル間取り図を受信する。例えば、モデル訓練デバイス２０２は、訓練データベース２０１から第１のサンプル間取り図を受信してもよい。間取り図は、物件の構造やレイアウトを説明する図であってもよい。例えば、間取り図は、物件１００を異なる機能部屋１１０～１３０に分割する構造や、各部屋の詳細な形状及び寸法を説明することができる。いくつかの実施形態では、第１のサンプル間取り図は、コンピュータ支援デザイン（ＣＡＤ）モデリングツールによって生成されてもよい。各間取り図の例には、壁、カウンター、階段、窓やドアなどの構造が表示されてもよい。いくつかの実施形態では、サンプル間取り図は、ベクトル図であってもよい。
ステップ１１０４において、モデル訓練デバイス２０２は、第１のサンプル間取り図に対応するサンプル構造データを取得することができる。いくつかの実施形態では、サンプル間取り図は、例えば、壁分布データ、耐力壁分布データ、窓／ドア分布データ、面積データ、天井高さデータ、構造位置座標などを含む、対応する構造データを含んでもよい。
ステップ１１０６において、モデル訓練デバイス２０２は、第１のサンプル間取り図に対応する第２のサンプル間取り図を取得することができる。いくつかの実施形態では、第２のサンプル間取り図は、対応する第１のサンプル間取り図と同じ又は類似のレイアウト、構造及び大きさであってもよい。第２のサンプル間取り図は、第１のサンプル間取り図の構造データを用いて識別することができる。いくつかの実施形態では、第１のサンプル間取り図は、調度されていてもよいし、調度されていなくてもよいが、対応する第２のサンプル間取り図は、１つ又は複数の調度品を備え付けている。例えば、第２の例示的な間取り図は、図１に示す間取り図と類似してもよい。調度品は、ダイニングセット１１３、テレビスタンド１１４、リビングセット１１５、ベッド１３１やロッキングチェア１３３などの家具であってもよく、植物１１６、絵１３２などの飾り物であってもよい。
ステップ１１０８において、モデル訓練デバイス２０２は、サンプル調度情報を生成するために、第２のサンプル間取り図内の調度品をラベル化することができる。いくつかの実施形態では、手動で調度品をラベル化してもよい。サンプル調度情報は、例えば、調度品のカテゴリ、間取り図における位置、配置方向、スタイルや寸法などを含んでもよい。いくつかの実施形態では、サンプル調度情報は、グレーディング情報をさらに含んでもよい。例えば、グレーディング情報は、数値（例えば、０～１００のスケールで）又は等級レベル（例えば、Ａ～Ｆ）であってもよい。いくつかの実施形態では、調度情報は、調度ヒートマップをさらに含んでもよい。調度ヒートマップは、調度品の配置と、調度品が対応する位置に配置されるそれぞれの確率とを反映している。例えば、調度ヒートマップは、大部屋１１０におけるダイニングセット１１３及びリビングセット１１５の推奨配置、これらの位置にダイニングセット１１３及びリビングセット１１５が配置される確率、及びダイニングセット１１３及びリビングセット１１５のその他の情報を示している。
ステップ１１１０において、モデル訓練デバイス２０２は、調度情報を学習するためのニューラルネットワークを訓練することができる。いくつかの実施形態では、ニューラルネットワークは、第１のサンプル間取り図と、第１のサンプル間取り図に対応する第２のサンプル間取り図から生成されたサンプル調度情報とを用いて訓練されてもよい。いくつかの実施形態では、訓練は反復プロセスであってもよい。ニューラルネットワークは、各反復において、第１のサンプル間取り図及びその構造データに基づいて、出力調度情報を生成する。いくつかの実施形態では、ニューラルネットワークは、勾配降下法又は逆伝播法を用いて訓練されてもよく、これら２つの方法は、第１のサンプル間取り図に適用されたときにネットワークによって出力される調度情報と、ステップ１１０８における対応する第２のサンプル間取り図から生成されたサンプル調度情報との間の差異を最小化するように、ネットワークパラメータを徐々に調整する。訓練は、次の条件の少なくとも１つを満たすと終了する。（１）訓練時間が所定の時間長を超えること、（２）反復回数が所定の反復閾値を超えること、（３）第１のサンプル間取り図に適用されたときにネットワークによって出力される調度情報と、対応する第２のサンプル間取り図から生成されたサンプル調度情報とに基づいて算出される損失関数（例えば、クロスエントロピー損失関数）が、所定の損失閾値未満であること。訓練は「オンライン」又は「オフライン」で実行されることが想定される。
いくつかの実施形態では、ニューラルネットワークは、ＲｅｓＮｅｔ／ＤｅｎｓｅＮｅｔモデルのような任意の適切な構造を採用してもよい。ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｕｒａｌ Ｎｅｗｏｒｋ、残差ニューラルネットワーク）は、訓練速度を速め、ネットワークの学習精度を向上させることができる。ニューラルネットワークは、入力層と、中間層と、出力層とを含んでもよく、各層は、その前の層の出力を入力として受信する。いくつかの実施形態では、中間層はコンボリューション層であってもよい。いくつかの実施形態では、中間層は完全接続層であってもよい。
図１２は、本開示の実施形態による、物件の調度計画を生成するための方法１２００の一例のフローチャートである。いくつかの実施形態では、方法１２００は、インテリアデザインデバイス２０３のプロセッサ３０４、例えば改装ユニット３４０によって実行されてもよい。方法１２００は、以下のようなステップ１２０２～１２１４を含んでもよい。なお、ステップの一部は、本明細書で提供された開示内容を実行するために任意であってもよい。さらに、ステップの一部は、同時に実行されてもよく、図１２に示された順序とは異なる順序で実行されてもよい。説明のために、方法１２００は、物件１００（例えば図１参照）を例として説明される。しかしながら、方法１２００は、他の空間又は他の物件を調度するために実施することができる。
ステップ１２０２において、調度ユニット３４０は、間取り図を受信する。間取り図は、調度されていてもよいし、調度されていなくてもよい。例えば、調度ユニット３４０は、ユーザデバイス２０４を介してユーザによって提供された間取り図２１６を受信してもよい。間取り図２１６は、物件のレイアウト、構造及び大きさを説明する図であってもよい。いくつかの実施形態では、間取り図は、ＣＡＤモデリングツールによって生成されたベクトル図であってもよい。
ステップ１２０４において、調度ユニット３４０は、間取り図に対応する構造データを取得することができる。いくつかの実施形態では、間取り図２１６は、例えば、壁分布データ、耐力壁分布データ、窓／ドア分布データ、面積データ、天井高さデータ、構造位置座標などを含む、対応する構造データを含んでもよい。
ステップ１２０６において、調度ユニット３４０は、間取り図及び構造データに基づいて調度情報を学習することができる。いくつかの実施形態では、方法１１００を用いて訓練されたニューラルネットワークを適用することによって、調度情報を学習してもよい。調度情報は、例えば、間取り図に配置されることが推奨される調度品のカテゴリ、間取り図における各調度品の位置、配置方向、スタイルや寸法などを含んでもよい。いくつかの実施形態では、学習された調度情報は、調度ヒートマップを含むこともできる。
ステップ１２０８において、調度ユニット３４０は、調度情報を処理することによって調度計画を生成することができる。いくつかの実施形態では、調度計画が生成されるときに、調度ユニット３４０は、特定の所定の調度決定ルールに従って調度情報を処理してもよい。いくつかの実施形態では、調度ユニット３４０は、調度計画を最適化するための拘束条件として調度決定ルールを使用してもよい。例えば、ＭＣＳＴアルゴリズムを使用してもよい。
いくつかの実施形態では、調度決定ルールは予めに決定されてもよい。例えば、配置位置及び配置される調度品に基づいてエネルギー関数Ｅ（ｘ）を構築してもよく、エネルギー関数ｍｉｎ（ΣＥ（ｘ））は拘束条件として使用してもよい。エネルギー関数は、壁及び他の調度品に対する各調度品の位置を考慮することができる。別の例として、調度品の総数が別の拘束条件となる場合がある。したがって、ヒートマップに配置された調度品を木ノードとしてモンテカルロ探索木を構築することができる。その後、ＭＣＳＴアルゴリズムは、調度品とその間取り図におけるこれらの配置位置を識別するために、木ノードをトラバースすることにより、学習された調度ヒートマップをトラバースする。配置は、すべての調度決定ルールを満たし、調度計画の全体的な配置確率を最大化しなければならない。調度計画の全体的な配置確率は、調度品の対応する確率（ヒートマップによる）の総和又は加重総和であってもよい。
配置用の調度品及び対応する配置位置を識別した後、調度情報に応じて調度計画を生成してもよい。いくつかの実施形態では、調度計画は、間取り図における家具配置のグラフィックイラストを含んでもよい。
ステップ１２１０において、調度ユニット３４０は、さらに、調度計画を説明する表示情報を生成することができる。いくつかの実施形態では、説明情報は、例えば、調度品のカテゴリ、間取り図における調度品の位置、配置方向、スタイルや調度品の寸法など、間取り図に配置されるものとして選択される各調度品の調度情報を含んでもよい。
ステップ１２１２において、調度ユニット３４０は、さらに、表示情報に基づいて付属品を取得することができる。付属品は調度品を補充することができる。例えば、調度品は、寝室１３０に置かれたベッド１３１を含んでもよく、付属品は、ベッド１３１の後の壁に掛けられた絵１３２と、ベッド１３１の上で使用される寝具とを含んでもよい。付属品には、通常に調度品と組み合わせているが、調度計画には含まれていないその他の家具がさらに含まれてもよい。例えば、１つ又は複数のナイトスタンドは、ベッド１３１と組み合わるものとして識別されることができる。いくつかの実施形態では、付属品は、調度品の表示情報（例えば、スタイル及び寸法）と一致するように選択されてもよい。例えば、ベッド１３１と同じスタイルのナイトスタンドを選択したり、ベッド１３１の大きさ（例えば、キングサイズやクイーンサイズ）に合った寝具を選択したりすることができる。
ステップ１２１４において、調度ユニット３４０は、調度嗜好に基づいて、調度計画における調度品及び付属品の配置を最適化することができる。いくつかの実施形態では、調度嗜好は、ユーザデバイス２０４を介してユーザによって提供されてもよい。調度嗜好は、壁側（つまり、調度品と壁との間の隙間が最小）又は床側であってもよい。したがって、調度嗜好に応じて調度計画における調度品や付属品を移動してもよい。
図１３は、本開示の実施形態による、物件の調度計画を可視化する表示モデルを生成するための方法１３００の一例のフローチャートである。いくつかの実施形態では、方法１３００は、インテリアデザインデバイス２０３のプロセッサ３０４、例えばビューレンダリングユニット３４４によって実行されてもよい。方法１３００は、以下のようなステップ１３０２～１３１２を含んでもよい。なお、ステップの一部は、本明細書で提供された開示内容を実行するために任意であってもよい。さらに、ステップの一部は、同時に実行されてもよく、図１３に示された順序とは異なる順序で実行されてもよい。
ステップ１３０２において、ビューレンダリングユニット３４４は、間取り図に基づいて３Ｄ物件モデルを生成することができる。いくつかの実施形態では、ＣＡＤモデリングツールを用いて、間取り図から導出された構造データに基づいて、３Ｄ物件モデルを生成してもよい。３Ｄ物件モデルは、調度されていない物件の構造やレイアウトのビューを表示することができる。
ステップ１３０４において、ビューレンダリングユニット３４４は、表示情報に基づいて、調度計画における調度品及び付属品のための３Ｄ物品モデルを生成することができる。同様に、カテゴリ、スタイルや寸法などの表示情報に基づいて、ＣＡＤモデリングツールを用いて３Ｄ物品モデルを生成することもできる。
ステップ１３０６において、ビューレンダリングユニット３４４は、調度計画に基づいて３Ｄ物品モデルを３Ｄ物件モデルに適合させることができる。３Ｄ物品モデルは、調度計画から提供された調度情報によって指定された３Ｄ物件モデル内の対応する位置に配置される。
ステップ１３０８において、ビューレンダリングユニット３４４は、表示情報又は調度情報に基づいてデザインスタイルを決定することができる。いくつかの実施形態では、表示情報又は調度情報は、各調度品及び付属品のスタイルを指定する。調度・付属品の例示的なスタイルは、ヨーロッパスタイル、東洋スタイル、現代的なスタイル、モダンなスタイルなどを含んでもよい。室内空間のデザインスタイルは、その空間の調度品のスタイルによって一括して定義されてもよい。例えば、大部屋１１０の調度・付属品の大部分が東洋スタイルである場合、大部屋１１０のデザインスタイルを東洋スタイルであると決定される。いくつかの実施形態では、物件は、異なる機能空間において、異なるデザインスタイルを有してもよい。例えば、大部屋１１０は東洋スタイルを有し、寝室１３０は現代的なスタイルを有するようにしてもよい。
ステップ１３１０において、ビューレンダリングユニット３４４は、デザインスタイルに基づいて物件の３Ｄ表示モデルをレンダリングすることができる。例えば、図１に示される物件１００の３Ｄビューは、ステップ１３１０でレンダリングされた３Ｄ表示モデルの例であってもよい。いくつかの実施形態では、ビューレンダリングユニット３４４は、窓飾り、カーテン、タイル、カーペットや堅木張りの床などのパターン又は色を、対応するデザインスタイルに適合するように調整してもよい。
ステップ１３１２において、ビューレンダリングユニット３４４は、３Ｄ表示モデルをユーザに送信することができる。例えば、３Ｄ表示モデルは、表示するためにユーザデバイス２０４に送信されてもよい。いくつかの実施形態では、３Ｄ表示モデルは、仮想現実（ＶＲ）ツアーアプリケーションで表示されてもよく、このアプリケーションは、３Ｄ表示モデルをブラウズし、様々な調度・付属品に関連する表示情報を調べるためのツールをユーザに提供する。
本開示の別の態様は、実行されると１つ又は複数のプロセッサに上記方法を実行させる命令を記憶する非一時的なコンピュータ読み取り可能な媒体に関する。コンピュータ読み取り可能な媒体は、揮発性又は不揮発性、磁気的、半導体的、磁気テープ、光学的、取り外し可能、非取り外し可能、又は他のタイプのコンピュータ読み取り可能な媒体、又はコンピュータ読み取り可能な記憶デバイスを含み得る。例えば、開示されているように、コンピュータ読み取り可能な媒体は、コンピュータ命令が記憶されている記憶デバイス又はメモリモジュールであってもよい。いくつかの実施形態では、コンピュータ読み取り可能な媒体は、コンピュータ命令が記憶されたディスク又はフラッシュドライブであってもよい。
実施形態は、一例として室内空間のインテリアデザインを用いて説明されているが、これらの概念は容易に拡張され、屋外空間（例えば、デッキ、前庭／裏庭、ガレージや周辺環境）のデザインに適用されてもよい。当業者は、屋外デザインについて過度の実験を行うことなく、開示されたシステム及び方法に適応することができる。
当業者にとっては、開示されたシステム及び関連する方法に対して様々な修正及び変更を行うことが可能であることは明らかである。他の実施形態は、開示されたシステム及び関連する方法の説明及び実施を考慮することにより、当業者にとって自明になる。
明細書及び実施例は、例示的なものとしてのみ扱われるものに過ぎず、真の範囲は、添付の特許請求の範囲及びその均等物によって示されるものとする。
２０２ モデル訓練デバイス
２０３ インテリアデザインデバイス
２０４ ユーザデバイス
２１２ 訓練済み学習モデル
２１４ 画像
２１６ 間取り図
３０２ 通信インターフェース
３０４ プロセッサ
３０６ メモリ
３０８ ストレージ
３１０ バス

Claims (20)

  1. 物件の調度計画を生成するためのシステムであって、
    前記物件の間取り図及びニューラルネットワークモデルを受信するように構成される通信インターフェースと、
    前記間取り図に基づいて前記物件の構造データを取得し、
    前記間取り図及び前記構造データに前記ニューラルネットワークモデルを適用することで、１つ又は複数の調度品、前記間取り図に配置された各調度品の位置、及び前記各調度品の寸法を識別する調度情報を学習し、
    前記調度情報に基づいて前記物件の調度計画を生成するように構成される少なくとも１つのプロセッサとを含む、システム。
  2. 前記ニューラルネットワークモデルは、モデル訓練装置によって訓練され、前記モデル訓練装置は、
    第１のサンプル間取り図を受信し、
    前記第１のサンプル間取り図に基づいてサンプル構造データを取得し、
    前記サンプル構造データに基づいて、前記第１のサンプル間取り図に対応する、サンプル調度品が備え付されている第２のサンプル間取り図を取得し、
    前記第２のサンプル間取り図における前記サンプル調度品をラベル化してサンプル調度情報を生成し、
    前記第１のサンプル間取り図と、前記対応する第２のサンプル間取り図から生成された前記サンプル調度情報とを用いて、前記ニューラルネットワークモデルを訓練するように構成される、請求項１に記載のシステム。
  3. 前記調度情報は、前記間取り図に配置された前記調度品の位置と、前記１つ又は複数の調度品が各位置に配置される確率とを反映する調度ヒートマップをさらに含む、請求項１に記載のシステム。
  4. 前記調度計画を生成するために、前記少なくとも１つのプロセッサは、さらに、
    前記調度ヒートマップによって反映される確率に基づいて決定される前記調度計画の全体的な配置確率を最大化するように、前記１つ又は複数の調度品を配置するように構成される、請求項３に記載のシステム。
  5. 前記調度計画を生成するために、前記少なくとも１つのプロセッサは、さらに、
    前記調度ヒートマップにおける１つの調度品にそれぞれ対応する複数の木ノードを有するモンテカルロ探索木を構築し、
    少なくとも１つの調度決定ルールに従って前記調度ヒートマップをトラバースするように構成される、請求項３に記載のシステム。
  6. 前記少なくとも１つの調度決定ルールは、前記間取り図における前記調度品とフレーム構造との相対位置に基づいて構築されたエネルギー関数を最小化することである、請求項５に記載のシステム。
  7. 前記少なくとも１つのプロセッサは、さらに、
    前記各調度品のスタイル及び寸法を含む、前記調度計画を説明する表示情報を生成し、
    前記表示情報に基づいて、前記各調度品のスタイル及び寸法の少なくとも１つに従って選択された付属品を取得して前記調度品を完成させるように構成される、請求項１に記載のシステム。
  8. 前記少なくとも１つのプロセッサは、さらに、
    少なくとも１つの調度嗜好に基づいて、前記調度計画における前記調度品及び前記付属品の配置を最適化するように構成される、請求項７に記載のシステム。
  9. 前記少なくとも１つのプロセッサは、さらに、
    ３Ｄ表示モデルを生成して前記間取り図とともに前記調度計画を可視化し、
    前記３Ｄ表示モデルを表示するためにユーザデバイスに送信するように構成される、請求項１に記載のシステム。
  10. 前記３Ｄ表示モデルを生成するために、前記少なくとも１つのプロセッサは、さらに、
    前記間取り図に基づいて３Ｄ物件モデルを生成し、
    前記調度品のための３Ｄ物品モデルを生成し、
    前記調度計画に基づいて前記３Ｄ物品モデルを前記３Ｄ物件モデルに適合させるように構成される、請求項９に記載のシステム。
  11. 前記調度情報は前記各調度品のスタイルをさらに識別し、前記少なくとも１つのプロセッサは、前記３Ｄ表示モデルを生成するために、さらに、
    前記調度品のスタイルに基づいてデザインスタイルを決定し、
    前記デザインスタイルと一致する前記３Ｄ表示モデルをレンダリングするように構成される、請求項１０に記載のシステム。
  12. 物件の調度計画を生成するためのコンピュータに実行される方法であって、
    前記物件の間取り図及びニューラルネットワークモデルを受信するステップと、
    前記間取り図に基づいて前記物件の構造データを取得するステップと、
    少なくとも１つのプロセッサによって、前記間取り図及び前記構造データに前記ニューラルネットワークモデルを適用することで、１つ又は複数の調度品、前記間取り図に配置された各調度品の位置、及び前記各調度品の寸法を識別する調度情報を学習するステップと、
    前記少なくとも１つのプロセッサによって、前記調度情報に基づいて前記物件の調度計画を生成するステップとを含む方法。
  13. 前記ニューラルネットワークモデルは、
    第１のサンプル間取り図を受信し、
    前記第１のサンプル間取り図に基づいてサンプル構造データを取得し、
    前記サンプル構造データに基づいて、前記第１のサンプル間取り図に対応し、且つサンプル調度品が備え付されている第２のサンプル間取り図を取得し、
    前記第２のサンプル間取り図における前記サンプル調度品をラベル化してサンプル調度情報を生成し、
    前記第１のサンプル間取り図と、前記対応する第２のサンプル間取り図から生成された前記サンプル調度情報とを用いて前記ニューラルネットワークモデルを訓練することによって訓練される、請求項１１に記載のコンピュータに実行される方法。
  14. 前記調度情報は、前記間取り図に配置された前記調度品の位置と、前記１つ又は複数の調度品が各位置に配置される確率とを反映する調度ヒートマップをさらに含む、請求項１２に記載のコンピュータに実行される方法。
  15. 前記調度計画を生成するステップは、
    前記調度ヒートマップによって反映される確率に基づいて決定される前記調度計画の全体的な配置確率を最大化するように、前記１つ又は複数の調度品を配置するステップをさらに含む、請求項１４に記載のコンピュータに実行される方法。
  16. 前記調度計画を生成するステップは、さらに、
    前記調度ヒートマップにおける１つの調度品にそれぞれ対応する複数の木ノードを有するモンテカルロ探索木を構築するステップと、
    前記間取り図における前記調度品とフレーム構造との相対位置に基づいて構築されたエネルギー関数を最小化するように、前記調度ヒートマップをトラバースするステップとを含む、請求項１４に記載のコンピュータに実行される方法。
  17. 前記各調度品のスタイル及び寸法を含む、前記調度計画を説明する表示情報を生成するステップと、
    前記表示情報に基づいて、前記各調度品のスタイル及び寸法の少なくとも１つに従って選択された付属品を取得して前記調度品を完成させるステップと、
    少なくとも１つの調度嗜好に基づいて、前記調度計画における前記調度品及び前記付属品の配置を最適化するステップとをさらに含む、請求項１に記載のコンピュータに実行される方法。
  18. 前記間取り図に基づいて３Ｄ物件モデルを生成するステップと、
    前記調度品のための３Ｄ物品モデルを生成するステップと、
    前記調度計画に基づいて前記３Ｄ物品モデルを前記３Ｄ物件モデルに適合させることで、３Ｄ表示モデルを生成して前記間取り図とともに前記調度計画を可視化するステップと、
    前記３Ｄ表示モデルを表示するためにユーザデバイスに送信するステップと、をさらに含む、請求項１２に記載のコンピュータに実行される方法。
  19. 少なくとも１つのプロセッサによって実行されると、物件の調度計画を生成するための方法を実行させるコンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な媒体であって、
    前記方法は、
    前記物件の間取り図及びニューラルネットワークモデルを受信するステップと、
    前記間取り図に基づいて前記物件の構造データを取得するステップと、
    前記間取り図及び前記構造データに前記ニューラルネットワークモデルを適用することで、１つ又は複数の調度品、前記間取り図に配置された各調度品の位置、及び前記各調度品の寸法を識別する調度情報を学習するステップと、
    前記調度情報に基づいて前記物件の調度計画を生成するステップとを含む、非一時的なコンピュータ読み取り可能な媒体。
  20. 前記方法は、さらに、
    前記間取り図に基づいて３Ｄ物件モデルを生成するステップと、
    前記調度品のための３Ｄ物品モデルを生成するステップと、
    前記調度計画に基づいて前記３Ｄ物品モデルを前記３Ｄ物件モデルに適合させることで、３Ｄ表示モデルを生成して前記間取り図とともに前記調度計画を可視化するステップとを含む、請求項１９に記載の非一時的なコンピュータ読み取り可能な媒体。
JP2022502901A 2019-07-15 2020-07-15 インテリアデザインのための人工知能システム及び方法 Active JP7325602B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
CN201910637657.1 2019-07-15
CN201910637579.5A CN110377824B (zh) 2019-07-15 2019-07-15 信息推送方法、装置、计算机可读存储介质及电子设备
CN201910636694.0 2019-07-15
CN201910636694.0A CN110390731B (zh) 2019-07-15 2019-07-15 图像处理方法、装置、计算机可读存储介质及电子设备
CN201910637659.0A CN110390153B (zh) 2019-07-15 2019-07-15 户型结构改造方案的生成方法、装置以及设备、存储介质
CN201910637657.1A CN110363853B (zh) 2019-07-15 2019-07-15 家具摆放方案生成方法、装置以及设备、存储介质
CN201910637659.0 2019-07-15
CN201910637579.5 2019-07-15
PCT/CN2020/102215 WO2021008566A1 (en) 2019-07-15 2020-07-15 Artificial intelligence systems and methods for interior design

Publications (2)

Publication Number Publication Date
JP2022540934A true JP2022540934A (ja) 2022-09-20
JP7325602B2 JP7325602B2 (ja) 2023-08-14

Family

ID=74210054

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022502901A Active JP7325602B2 (ja) 2019-07-15 2020-07-15 インテリアデザインのための人工知能システム及び方法

Country Status (5)

Country Link
US (3) US10956626B2 (ja)
JP (1) JP7325602B2 (ja)
AU (1) AU2020315029B2 (ja)
CA (1) CA3147320A1 (ja)
WO (1) WO2021008566A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11481882B2 (en) * 2019-11-18 2022-10-25 Shinyfields Limited Systems and methods for selective replacement of objects in images
EP3839793A1 (en) * 2019-12-16 2021-06-23 Dassault Systèmes Interactive object selection
DE102020203095A1 (de) * 2020-03-11 2021-09-16 Siemens Schweiz Ag Verfahren und Anordnung zum Erstellen eines digitalen Gebäudemodells
CN111709062B (zh) * 2020-06-18 2023-07-18 如你所视(北京)科技有限公司 用于获取物品摆放方案评分方法、装置以及设备、介质
EP4229552A4 (en) * 2020-10-13 2024-03-06 Flyreel Inc GENERATION OF MEASUREMENTS OF PHYSICAL STRUCTURES AND ENVIRONMENTS THROUGH AUTOMATED ANALYSIS OF SENSOR DATA
US11797724B2 (en) * 2020-11-13 2023-10-24 Qualcomm Incorporated Scene layout estimation
US11797733B2 (en) * 2021-03-09 2023-10-24 Togal.Ai Inc Artificial intelligence determination of building metrics for code compliance
US11481704B2 (en) * 2021-03-09 2022-10-25 Togal.Ai Inc. Methods and apparatus for artificial intelligence conversion of change orders into an actionable interface
US11475174B2 (en) * 2021-03-09 2022-10-18 Togal.Ai Inc. Methods and apparatus for artificial intelligence conversion of a two-dimensional reference into an actionable interface
CN112862637B (zh) * 2021-03-18 2023-12-08 紫荆花控股有限公司 一种智慧园区的智慧物业防控管理系统
US11610365B2 (en) 2021-03-31 2023-03-21 Sy Interiors Pvt. Ltd. Methods and systems for provisioning a virtual experience of a building based on user profile data
US11698707B2 (en) 2021-03-31 2023-07-11 Sy Interiors Pvt. Ltd. Methods and systems for provisioning a collaborative virtual experience of a building
CN113052971B (zh) * 2021-04-09 2022-06-10 杭州群核信息技术有限公司 一种基于神经网络的室内灯具自动布局设计方法、装置、系统及存储介质
US11796670B2 (en) 2021-05-20 2023-10-24 Beijing Baidu Netcom Science And Technology Co., Ltd. Radar point cloud data processing method and device, apparatus, and storage medium
US11790558B1 (en) * 2021-06-30 2023-10-17 Amazon Technologies, Inc. Generation of synthetic image data with varied attributes
CN113449372B (zh) * 2021-07-20 2023-08-08 杭州群核信息技术有限公司 家装设计方法、装置、计算机可读存储介质和处理器
CN113538101A (zh) * 2021-07-26 2021-10-22 杨浩松 一种基于人工智能的家装定制方法、系统及存储介质
CN113656876B (zh) * 2021-08-19 2024-04-30 深圳须弥云图空间科技有限公司 自动化柜体模型生成方法、装置、介质及电子设备
CN113743009B (zh) * 2021-08-31 2022-07-01 广州极点三维信息科技有限公司 基于表示学习的柜类智能设计方法、装置、设备及介质
CN113742804B (zh) * 2021-09-14 2024-04-23 深圳须弥云图空间科技有限公司 家具布局图生成方法、装置、设备及存储介质
CN113870415B (zh) * 2021-09-16 2024-04-26 杭州斑蓝智能科技有限公司 一种基于物联网的虚拟家装设计平台
US11989848B2 (en) * 2021-09-17 2024-05-21 Yembo, Inc. Browser optimized interactive electronic model based determination of attributes of a structure
WO2023217579A1 (en) * 2022-05-11 2023-11-16 Signify Holding B.V. Privacy enhanced images for lighting design
CN115221207B (zh) * 2022-06-21 2023-04-11 广州极点三维信息科技有限公司 一种智能家居方案设计方法、系统、装置及存储介质
US11977821B1 (en) 2023-06-02 2024-05-07 The Canoa Supply Company PBC Object processing in computer-aided design systems and related methods
CN116644503B (zh) * 2023-07-21 2023-12-08 深圳小米房产网络科技有限公司 一种基于人工智能的房屋装修设计方法及其系统
CN117952782B (zh) * 2024-03-26 2024-05-28 广东机电职业技术学院 一种应用于家居设计协作管理的虚拟现实交互系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015080199A (ja) * 2013-09-11 2015-04-23 ソニー株式会社 画像処理装置および方法
US20150187136A1 (en) * 2013-12-26 2015-07-02 Dassault Systemes Diminished Reality
JP2018129036A (ja) * 2016-12-21 2018-08-16 ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ 画像の補完
JP2018180803A (ja) * 2017-04-10 2018-11-15 富士通株式会社 モデル配置プログラム、モデル配置方法およびモデル配置装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070127791A1 (en) * 2005-11-15 2007-06-07 Sectra Ab Automated synchronization of 3-D medical images, related methods and computer products
US20080126023A1 (en) * 2006-11-27 2008-05-29 Ramsay Hoguet Searching and Matching Related objects, Drawings and Models For Home and Landscape Design
US8253731B2 (en) * 2006-11-27 2012-08-28 Designin Corporation Systems, methods, and computer program products for home and landscape design
US20180350216A1 (en) * 2014-01-03 2018-12-06 Google Inc. Generating Representations of Interior Space
CN108694266A (zh) * 2017-04-07 2018-10-23 美宅科技（北京）有限公司 基于机器学习的智能装修设计方法与系统
CN107526895B (zh) 2017-09-06 2021-02-05 合肥工业大学 一种古民居群快速建模系统
US10395147B2 (en) * 2017-10-30 2019-08-27 Rakuten, Inc. Method and apparatus for improved segmentation and recognition of images
CN107993289B (zh) 2017-12-06 2021-04-13 重庆欧派信息科技有限责任公司 基于ar增强现实技术的装修系统
CN108416707B (zh) 2018-02-07 2021-02-12 北京房江湖科技有限公司 房屋户型评估方法及装置
CN109559379B (zh) 2018-09-20 2023-06-06 中建科技有限公司深圳分公司 一种基于装配式建筑平台的全景看房方法及装置
CN109740243B (zh) 2018-12-29 2022-07-08 江苏艾佳家居用品有限公司 一种基于分件强化学习技术的家具布局方法及系统
CN109871604B (zh) * 2019-01-31 2023-05-16 浙江工商大学 基于深度对抗网络模型的室内功能区划分方法
CN109961319A (zh) 2019-03-12 2019-07-02 中国电子工程设计院有限公司 一种户型改造信息的获取方法及装置
CN110363853B (zh) * 2019-07-15 2020-09-01 贝壳找房(北京)科技有限公司 家具摆放方案生成方法、装置以及设备、存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015080199A (ja) * 2013-09-11 2015-04-23 ソニー株式会社 画像処理装置および方法
US20150187136A1 (en) * 2013-12-26 2015-07-02 Dassault Systemes Diminished Reality
JP2018129036A (ja) * 2016-12-21 2018-08-16 ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ 画像の補完
JP2018180803A (ja) * 2017-04-10 2018-11-15 富士通株式会社 モデル配置プログラム、モデル配置方法およびモデル配置装置

Also Published As

Publication number Publication date
US20210019453A1 (en) 2021-01-21
AU2020315029A1 (en) 2022-02-24
US20210173968A1 (en) 2021-06-10
WO2021008566A1 (en) 2021-01-21
AU2020315029B2 (en) 2023-04-13
JP7325602B2 (ja) 2023-08-14
CA3147320A1 (en) 2021-01-21
US20210173967A1 (en) 2021-06-10
US10956626B2 (en) 2021-03-23

Similar Documents

Publication Publication Date Title
JP7325602B2 (ja) インテリアデザインのための人工知能システム及び方法
US11367250B2 (en) Virtual interaction with three-dimensional indoor room imagery
US11714518B2 (en) Method and system for virtual real estate tours and virtual shopping
CN107004297B (zh) 基于二维平面图的三维自动立体建模方法及程序
US10846926B2 (en) Systems and methods for filling holes in a virtual reality model
KR102186899B1 (ko) 공간 인식에 기반한 인테리어 플랫폼 제공 방법
JP7121811B2 (ja) 三次元空間の眺めを表示させる方法、装置、及び記憶媒体
CN111985022B (zh) 一种线上装修的处理方法、装置、电子设备及存储介质
WO2019058266A1 (en) SYSTEM AND METHOD FOR CONVERTING A 3D SCALE SOIL PLAN FOR THE CREATION AND RENDERING OF ARCHITECTURAL SCENES OF VIRTUAL REALITY, VIDEOS AND VISUAL IMAGES
CN105787230A (zh) 一种家居仿真设计系统及方法
CN112001997B (zh) 一种家具的展示方法和装置
CN114972726A (zh) 捕获房间中信息以用于建筑物的可用性评估的自动化指示
CN111369664A (zh) 显示户型场景的方法、装置、设备、存储介质
JP7240846B2 (ja) 支援装置
US20230230326A1 (en) System and method for creating and furnishing digital models of indoor spaces
US20230063465A1 (en) Systems and methods for constructing 3d model based on changing viewpiont
EP3789967A1 (en) Three-dimensional space view display method, apparatus, and storage medium
US20210365603A1 (en) Artificial intelligence systems and methods for interior furnishing
US20240029148A1 (en) Systems and methods for visualizing products in a user's space
CN111369679A (zh) 装饰三维户型场景的方法、装置、设备、可读存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220311

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230801

R150 Certificate of patent or registration of utility model

Ref document number: 7325602

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150