JP2008191751A - 配置シミュレーションシステム - Google Patents

Abstract

【課題】物体の向きおよびサイズを正確に特定して、物体の配置状態のシミュレーションを行う。
【解決手段】利用者が、カタログやチラシを見て気に入った家具を見つけ、掲載されているコードを撮影すると、携帯端末１０がコード画像から商品ＩＤを取得して商品画像管理サーバ２０に送信する。商品画像管理サーバ２０は、その商品ＩＤを画像処理サーバ４０に送信し、これを保持する。次に利用者は、向きとサイズを算出可能なスケールを実際に部屋に置き、携帯端末１０で撮影する。すると、携帯端末１０が撮影画像および撮影機器情報を画像処理サーバ４０に送信する。画像処理サーバ４０は、記憶しているスケールの実体情報を用いて撮影画像からスケールを認識して配置情報を算出した後、保持している商品ＩＤの物体モデルを配置情報および撮影機器情報を用いて二次元画像に変換し、撮影画像と合成する。
【選択図】図１

Description

本発明は、家具等の物体を所定の位置に配置した状態をシミュレーションする技術に関する。

従来より、実物を用いてその状態を確認することなく、コンピュータを用いて画像処理を行うことにより、所定の状態のシミュレーションをすることが行われている。このように、コンピュータを用いてシミュレーションを行うことにより、例えば、自分にどの服が似合うかを、現実に試着することなしに確認することができる。本出願人は、このようなシミュレーションを行うための画像合成装置についても提案している（特許文献１参照）。
特許第３６９３７３５号公報

しかしながら、上記特許文献１に記載の発明では、背景側のサイズを計測することが困難であるとともに、実際に物体を配置した状態の向きを特定することが困難であるという問題がある。

そこで、本発明は、物体の向きおよびサイズを正確に特定して、物体の配置状態のシミュレーションを行うことが可能な配置シミュレーションシステムを提供することを課題とする。

上記課題を解決するため、本発明では、向きとサイズを表現可能なスケールと、物体を三次元モデルとして表現した物体モデルを記憶した物体モデル記憶手段と、配置すべき物体を指定する物体指定手段と、前記スケールを配置した状態で撮影を行う撮影手段と、前記撮影により得られた撮影画像の中から前記スケールを認識するスケール画像認識手段と、前記スケールと前記認識されたスケール画像の関係から、スケールの配置情報を算出する配置情報算出手段と、前記物体指定手段により指定された物体に対応する物体モデルを前記物体モデル記憶手段から抽出し、抽出された物体モデルを前記算出された配置情報および前記撮影手段の撮影機器情報を用いて二次元平面に投影した二次元画像を作成する二次元画像作成手段と、前記作成された二次元画像を前記撮影画像上に合成する画像合成手段と、前記合成により得られた合成画像を表示する表示手段を有する配置シミュレーションシステムを提供する。

本発明によれば、配置したスケールを撮影して、得られたスケール画像とスケールの実体の情報からスケールの配置情報を算出し、この配置情報および撮影機器情報を用いて、配置すべき物体モデルを二次元画像に変換し、これを背景と合成するようにしたので、物体の向きおよびサイズを正確に特定して、物体の配置状態のシミュレーションを行うことが可能となるという効果を奏する。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。
（１．システム構成）
図１は、本発明に係る配置シミュレーションシステムの一実施形態を示す構成図である。図１において、１０は携帯端末、２０は商品画像管理サーバ、３０は物体モデル記憶部、４０は画像処理サーバである。

図１において、携帯端末１０は、表示機能、ネットワーク接続機能、撮影機能を有する端末装置であり、インターネット接続機能付のカメラ付携帯電話機に専用のプログラムを搭載することにより実現される。

商品画像管理サーバ２０は、物体モデル記憶部３０を管理するとともに、ネットワークを介して携帯端末１０と通信する機能を有している。物体モデル記憶部３０は、各商品について、その形状を三次元モデルとして表現した物体モデルを記憶している。

画像処理サーバ４０は、スケールの実体情報を記憶しており、携帯端末１０から受信した撮影画像からスケールを認識する機能と、認識したスケールと実際のスケールの実体情報に基づいて撮影画像におけるスケールの配置情報を算出する機能と、携帯端末１０から受信した撮影機器情報、商品画像管理サーバ２０から受信した物体モデル、配置情報を利用して、物体モデルを投影した二次元画像を作成した後、撮影画像と合成する機能を有している。

ここで、撮影対象として実際に配置するスケールについて説明しておく。図２に本実施形態で用いるスケールを示す。図２に示すように、本実施形態で用いるスケールは、相対的に太目の円柱（以下、太円柱）３つと、相対的に細めの円柱（以下、細円柱）２つにより構成される。太円柱３つの大きさと、細円柱２つの大きさはそれぞれ同一であり、２つの細円柱により３つの太円柱の側面を結合することによりスケールが構成される。また、この３つの太円柱、２つの細円柱には、それぞれ明度の高い同一色で構成されている。例えば、３つの太円柱を全て赤、２つの細円柱を全て青で構成する。この色の情報は、画像処理サーバ４０のスケールの実体情報の一部として記憶される。

（２．処理動作）
続いて、本発明に係る配置シミュレーションシステムの処理動作について説明する。ここでは、部屋の中に家具を配置した状態をシミュレーションする場合を例にとって説明する。利用者が、カタログやチラシを見ていて、気に入った家具があり、それを部屋に配置したいと考えたとする。この際、利用者は、カタログ上において、その家具付近に商品を示すコード（バーコードや二次元コード等）が存在するかどうかを確認する。コードが存在した場合には、携帯端末１０の撮影機能を利用して、そのコードを撮影する。すると、携帯端末１０は撮影により得たコード画像から商品ＩＤを認識し、その商品ＩＤを、携帯端末１０自身を特定する端末ＩＤとともに、商品画像管理サーバ２０に送信する。

商品画像管理サーバ２０では、受信した端末ＩＤと商品ＩＤを対応付けて登録する。利用者は、このように、カタログやチラシを見ていて、気に入った商品があった場合には、その場で携帯端末１０によりコードを撮影することにより、商品画像管理サーバ２０には、撮影したコードに対応する商品ＩＤと自身の端末ＩＤの対応付けが蓄積されていくことになる。

利用者は、続いて、図２に示したようなスケールを、自分が家具を配置したいと思っている場所に、家具を配置したいと思っている向きで配置する。その後、利用者は、携帯端末１０のネットワーク接続機能を用いて商品画像管理サーバ２０にアクセスし、自身の端末ＩＤを送信するとともに自分が登録した商品情報を要求する。商品画像管理サーバ２０は、商品情報の要求があると、受信した端末ＩＤで商品情報を検索し、対応する商品ＩＤで特定される商品情報を携帯端末１０に送信する。この際、送信される商品情報としては、例えば、商品のサムネイル画像等を用いることができる。携帯端末１０は、商品情報を受信すると、それを画面に表示する。利用者は、表示画面を見て、その商品を配置対象とする場合は、決定指示を商品画像管理サーバ２０に送信する。商品画像管理サーバ２０は、決定指示を受信すると、その商品ＩＤの物体モデルを、端末ＩＤとともに画像処理サーバ４０に送信する。画像処理サーバ４０では、受信した物体モデルを所定の期間保持する。

次に、利用者は、携帯端末１０の撮影機能を利用して、スケールを配置した状態を撮影する。携帯端末１０は、撮影により撮影画像を取得すると、ネットワーク接続機能を利用して画像処理サーバ４０にアクセスし、撮影画像および自身の撮影機器情報を送信する。撮影機器情報とは、携帯端末１０が搭載するカメラの情報を意味し、本実施形態では、画角を採用している。画像処理サーバ４０では、撮影画像を受信すると、受信した撮影画像からスケールの認識処理を行う。具体的には、自身が記憶しているスケールの実体情報と同一色の部分を撮影画像中から探索し、対応する部分をスケール画像として抽出する。例えば、画像処理サーバ４０に青の３つの太円柱と赤の２つの細円柱がスケール実体情報として記憶されている場合、画像処理サーバ４０は、これらの組み合わせを撮影画像から探索することになる。なお、このような画像認識処理は公知の技術である。

続いて、画像処理サーバ４０は、抽出したスケール画像と、スケール実体情報の関係から配置情報を算出する。具体的には、抽出したスケール画像の太円柱とスケール実体情報の太円柱を比較して、縮尺および左右方向の向きを算出するとともに、抽出したスケール画像の細円柱とスケール実体情報の細円柱を比較して、前後方向の向きを算出する。

このようにして算出された配置情報、すなわち縮尺、左右・前後方向の向きの情報、および撮影機器情報を用いて、画像処理サーバ４０は、保持している家具の物体モデルから二次元投影画像を作成する。続いて、画像処理サーバ４０は、作成した二次元投影画像を上記撮影画像に合成して合成画像を作成する処理を行う。画像処理サーバ４０は、作成した合成画像を携帯端末１０に送信する。

携帯端末１０は、画像処理サーバ４０から受信した合成画像を画面に表示する処理を行う。表示された合成画像により、利用者は、家具が自分の部屋に配置されたイメージを確認することが可能となる。ここで、撮影画像と合成画像の様子を図３に示す。図３（ａ）はスケールを配置して部屋を撮影した撮影画像であり、図３（ｂ）は撮影画像に、選択した家具を配置した状態を示す合成画像である。本システムを利用することにより、利用者は、配置したい家具を選択するとともに、スケールを配置して撮影を行うだけで、図３（ｂ）に示すような合成画像を取得し、携帯端末１０の画面上で確認することが可能となる。

（３．スケールの変形例）
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、スケールとして図２に示したような太円柱と細円柱を組み合わせたものを用いたが、サイズと向きを算出可能なものであれば、どのような形態でも良い。例えば、図４に示すようなスケールを用いることも可能である。図４に示すスケールは、１枚の基材上に３箇所の同形状の起立部を設けたものとなっている。この起立部は、四辺のうちの三辺は基材と切り離されており、下方の一辺のみが基材と接続されている。この接続された一辺を折り曲げることにより起立部を起立させてスケールを完成させる。これにより、３つの起立部が、図２に示したスケールの太円柱の役割を果たし、起立部間の間隔が図２に示したスケールの細円柱の役割を果たす。従って、３つの起立部は、基材とは明確に異なる同一色に着色しておく必要がある。スケールをこのように１枚の基材にしておくことにより、商品カタログに綴じ込んでおくことが可能となり、利用者は、配置したい家具をカタログから選ぶとともに、スケールを組み立てて、撮影することが可能となる。

本発明に係る配置シミュレーションシステムの一実施形態を示す構成図である。 本発明で用いるスケールを示す図である。 撮影画像と合成画像の様子を示す図である。 スケールの他の例を示す図である。

符号の説明

１０・・・携帯端末
２０・・・商品画像管理サーバ
３０・・・物体モデル記憶部
４０・・・画像処理サーバ

Claims (3)

1. 向きとサイズを表現可能なスケールと、
   物体を三次元モデルとして表現した物体モデルを記憶した物体モデル記憶手段と、
   配置すべき物体を指定する物体指定手段と、
   前記スケールを配置した状態で撮影を行う撮影手段と、
   前記撮影により得られた撮影画像の中から前記スケールを認識するスケール画像認識手段と、
   前記スケールと前記認識されたスケール画像の関係から、スケールの配置情報を算出する配置情報算出手段と、
   前記物体指定手段により指定された物体に対応する物体モデルを前記物体モデル記憶手段から抽出し、抽出された物体モデルを前記算出された配置情報および前記撮影手段の撮影機器情報を用いて二次元平面に投影した二次元画像を作成する二次元画像作成手段と、
   前記作成された二次元画像を前記撮影画像上に合成する画像合成手段と、
   前記合成により得られた合成画像を表示する表示手段と、
   を有することを特徴とする配置シミュレーションシステム。
2. 利用者が用いる携帯端末と、商品画像管理サーバ、画像処理サーバがネットワークを介して接続されており、
   前記携帯端末が、前記物体指定手段、前記撮影手段、前記表示手段を有しており、
   前記商品画像管理サーバは、前記物体モデル記憶手段を管理するものであり、
   前記画像処理サーバは、前記配置情報算出手段、前記二次元画像作成手段、前記画像合成手段を有するものであることを特徴とする請求項１に記載の配置シミュレーションシステム。
3. 前記物体モデル記憶手段は、前記物体モデルを商品ＩＤで管理するとともに、前記携帯端末の撮影手段がコードを撮影して取得した商品ＩＤと当該携帯端末の端末ＩＤを対応付けて記録するものであり、
   前記商品画像管理サーバは、前記携帯端末からの要求に基づいて、当該携帯端末の端末ＩＤに対応する商品ＩＤの商品情報を当該携帯端末に送信するものであり、
   前記物体指定手段は、前記受信した商品情報から配置すべき物体を指定するものであることを特徴とする請求項２に記載の配置シミュレーションシステム。

Images