JP2006285563A - シミュレーション装置 - Google Patents

Abstract

【課題】 簡易な構成でありながら、正確にシミュレーションを行うことのできる装置を提供する。
【解決手段】 記録部１０には、服などの装着物の画像が記録されている。撮像部１２は、上記装着物の装着対象である人や動物などを撮像する。重畳表示手段１６は、撮像した装着対象の画像に対し、リアルタイムに記録部１０に記録されている装着物の画像を重ねて表示部２２に出力する。表示部２２は、この画像を表示する。利用者は、撮像部１２の撮像方向を操作するとともに操作手段１４を操作して遠近方向の撮像範囲を操作し、表示部を確認しながら、被装着対象に装着物を装着したように見える状態にする。所望の画像が得られれば、利用者は、決定入力手段２０から決定入力を与える。決定画像表示手段１８は、決定入力が与えられた際の撮像画像に装着物の画像を重ねて、表示部２２に表示する。
【選択図】 図１

Description

この発明はシミュレーション装置に関し、特に装着物や設置物の装着状態や設置状態を確認するためのものに関する。

服などを購入する場合、試着によって似合うかどうかを確認し購入決定を行うことが多い。しかし、インターネット上のウエブなどで服を購入する場合には、このような試着を行うことはできない。

この問題を解決するため、特許文献１では、自分の体型データをサーバ装置に登録しておき、サーバ装置上で体型モデルを生成し、これに希望の服を着用した状態を仮想的に実現して、ユーザに提示するようにしている。

特開2002-197325号公報

しかしながら、上記のような従来のシステムでは、予め体型データを登録する必要があり、ユーザにとっては煩雑であった。また、体型モデルを生成しているので、必ずしもユーザ本人の外観を正確に再現できるわけではなく、シミュレーションの正確性が十分ではなかった。

このような状況は、服だけでなく、車のホイールや、家のカーテン、家具、店舗の看板などにおいても同様に生じていた。

この発明は上記のような問題点を解決して、簡易な構成でありながら、正確にシミュレーションを行うことのできる装置を提供することを目的とする。

(1)この発明に係るシミュレーション装置は、表示部と、装着物または設置物の画像を記録する記録部と、被装着対象または被設置対象を撮像するための撮像部と、撮像部による遠近方向の撮像範囲を操作する操作手段と、上記選択した装着物または設置物の画像に、撮像した被装着対象または被設置対象の画像をリアルタイムに重ねて表示部に表示する重畳表示手段と、表示部を確認しながら操作手段を操作し、被装着対象または被設置対象に、装着物を装着しまたは設置物を設置したように見える状態となったと判断した利用者による決定入力を受ける決定入力手段と、決定入力がなされた時の被装着対象または被設置対象の撮像画像に、装着物または設置物の画像を重ねて表示部に表示する決定画像表示手段とを備えている。

したがって、被装着対象または被設置対象の実写に基づいて、装着物または設置物の装着・設置状況をシミュレーションすることができるので、シミュレーションの精度を高くすることができる。

(3)この発明に係るシミュレーション装置は、装着物または設置物の表示部における表示の大きさまたは位置を利用者が操作できる調整操作入力手段を備えている。したがって、装着物または設置物の表示部における表示の大きさまたは位置を操作することによっても、被装着対象または被設置対象に、装着物を装着しまたは設置物を設置したように見える状態とすることができる。

(4)この発明に係るシミュレーション装置は、表示部と、装着物または設置物の画像を記録する記録部と、装着物または設置物の画像を表示部に表示する画像表示手段と、被装着対象または被設置対象を撮像するための撮像部と、撮像した被装着対象または被設置対象の画像に、装着物または設置物が装着または設置された状態となるように、装着物または設置物と被装着対象または被設置対象との表示部上における相対的な位置および大きさを自動調整する自動調整手段と、調整手段の出力に基づき、被装着対象または被設置対象の画像をリアルタイムに装着物または設置物に重ねて表示部に表示する重畳表示手段と、利用者による決定入力を受ける決定入力手段と、決定入力がなされた時の被装着対象または被設置対象の撮像画像に、装着物または設置物の画像を重ねて表示部に表示する決定画像表示手段とを備えている。

したがって、被装着対象または被設置対象の実写に基づいて、装着物または設置物の装着・設置状況をシミュレーションすることができるので、シミュレーションの精度を高くすることができる。

(6)この発明に係るシミュレーション装置は、撮像した被装着対象または被設置対象の画像に基づいて、装着物または設置物の明暗を推定し、装着物または設置物の画像に明暗を施す明暗推定手段を備えたことを特徴としている。

したがって、被装着対象または被設置対象に対する光の当たり具合も考慮した、より自然なシミュレーション画像を獲ることができる。

(7)この発明に係るシミュレーション装置は、携帯電話装置であることを特徴としている。したがって、携帯電話に装着されている撮像部や表示部や操作手段を兼用して利用することができる。

(8)この発明に係るシミュレーション装置は、装着物または設置物の表示部における表示色または表示模様を利用者が操作できる色／模様入力手段を備えていることを特徴としている。したがって、容易に、形状は同じであり色違いや模様違いの装着物または設置物についてのシミュレーションを行うことができる。

(11)この発明に係るシミュレーション装置は、サーバ装置より装着物または設置物の画像および装着物または設置物のＩＤを複数受信する受信手段と、受信した装着物または設置物の画像およびＩＤを選択する画像選択手段と、決定画像に表示されている装着物または設置物のＩＤを含む購入申込をサーバ装置に送信する送信手段とを備えている。

したがって、シミュレーションを行った装着物または設置物を購入することができる。

上記の各項目は、本出願に含まれる複数の発明のそれぞれの特徴を述べたものであり、特許請求の範囲における従属請求項に記載した特徴も含まれている。

この発明において「記録部」とは、少なくとも、装着物または設置物の画像を記録するものをいい、実施形態では、メモリ５２またはディスプレイコントローラ６４の第１のメモリがこれに該当する。

「操作手段」は、実施形態においては、ステップＳ７がこれに対応する。

「重畳表示手段」は、実施形態においては、ステップＳ６がこれに対応する。

「決定画像表示手段」は、実施形態においては、ステップＳ９がこれに対応する。

「決定入力手段」は、実施形態においては、ステップＳ１０がこれに対応する。

「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。

発明を実施するための形態

１．第１の実施形態
図１に、この発明の一実施形態によるシミュレーション装置の機能ブロック図を示す。記録部１０には、服などの装着物の画像が記録されている。撮像部１２は、上記装着物の装着対象である人や動物などを撮像する。重畳表示手段１６は、撮像した装着対象の画像に対し、リアルタイムに記録部１０に記録されている装着物の画像を重ねて表示部２２に出力する。表示部２２は、この画像を表示する。利用者は、撮像部１２の撮像方向を操作するとともに操作手段１４を操作して遠近方向の撮像範囲を操作し、表示部を確認しながら、被装着対象に装着物を装着したように見える状態にする。所望の画像が得られれば、利用者は、決定入力手段２０から決定入力を与える。決定画像表示手段１８は、決定入力が与えられた際の撮像画像に装着物の画像を重ねて、表示部２２に表示する。

このようにして、装着物を被装着対象に装着した際の状況をシミュレーションすることができる。

図２に、この発明の一実施形態によるシミュレーション装置を用いた販売システムの構成を示す。この実施形態では、携帯電話装置によってシミュレーション装置を構成している。

携帯電話装置２は、インターネット４を介して、サーバ装置６に接続可能である。サーバ装置６は、商品を販売するサイトである。この実施形態では、犬の服を販売するサイトであるものとして説明を行う。

図３に、サーバ装置６のハードウエア構成を示す。ＣＰＵ３０には、メモリ３２、通信回路３４、ハードディスク３６、ＣＤ−ＲＯＭドライブ４４が接続されている。ハードディスク３６には、Windows（商標）などのオペレーティングシステム（ＯＳ）３８、サーバプログラム４０、服の画像データ４２が記録されている。サーバプログラム４０は、ＯＳ３８と協働してその機能を発揮するものである。サーバプログラム４０は、ＣＤ−ＲＯＭ４６に記録されていたものが、ＣＤ−ＲＯＭドライブ４４を介して、ハードディスク３６にインストールされたものである。通信回路３４は、インターネット４に接続するためのものである。

図４に、携帯電話装置２のハードウエア構成を示す。ＣＰＵ５０には、メモリ５２、撮像部であるＣＣＤカメラ５４、通信回路５６、ハードディスク５８、表示部であるディスプレイコントローラ６４、操作キー６８、遠近調整ボタン７０、決定ボタン７２が接続されている。

不揮発性メモリ５８には、TRON(商標)等のオペレーティングシステム（ＯＳ）６９、シミュレーションプログラム５２が記録されている。シミュレーションプログラム６２は、ＯＳ６０と協働してその機能を発揮するものである。シミュレーションプログラム６２は、ＣＤ−ＲＯＭ７６に記録されていたものが、ＣＤ−ＲＯＭドライブ７４を介して、ハードディスク５８にインストールされたものである。

ＣＣＤカメラ５４は、携帯電話装置２の本体に内蔵され、撮像を行うものである。遠近調節ボタン７０は、遠近方向におけるＣＣＤカメラ５４の撮像範囲を調整するものである。決定ボタン７２は、リアルタイムに撮像された画像を静止画として固定するためのボタンである。操作キー６８は、インターネットへの接続などの利用者による操作を受け付けるものである。通信回路５６は、インターネット４に接続するためのものである。

図５、図６に、サーバプログラム４０、シミュレーションプログラム６２のフローチャートを示す。左側がシミュレーションプログラム６２のフローチャート、右側がサーバプログラム４０のフローチャートである。

まず、携帯電話装置２のＣＰＵ５０は、利用者の操作に応じて、通信回路５６を介してサーバ装置４にアクセスし服画像の一覧を要求する（ステップＳ１）。なお、ステップＳ１を実行する前に、ユーザＩＤの確認、パスワードの確認処理などを行うが、ここでは省略している。

サーバ装置６のＣＰＵ３０は、この要求を受けて、複数の服画像データを携帯電話装置２に送信する（ステップＳ５１）。

携帯電話装置２のＣＰＵ５０は、服画像データを受けてメモリ５２に記録する（ステップＳ２）。この時点で、携帯電話装置２のＣＰＵ５０は、サーバ装置６との接続を切断する。図７に、メモリ５２に記録された服画像データの一覧を示す。各画像データには、商品ＩＤ、商品名、価格などが併せて記録されている。

次に、携帯電話装置２のＣＰＵ５０は、メモリ５２の記録内容に基づいて、服画像の一覧を、商品名、価格などとともにディスプレイ６６に表示する（ステップＳ３）。表示画面例を、図８に示す。

利用者は、操作キー６８を操作し、所望の服画像を選択する（ステップＳ４）。これに伴い、ＣＰＵ５０は、選択された服画像データをディスプレイコントローラ６４に送る。ディスプレイコントローラ６４は、この服画像データを第１のメモリ（図示せず）に記録する。併せて、ＣＰＵ５０は、選択された服画像の商品ＩＤをメモリ５２に記録する。

次に、ＣＰＵ５０は、ＣＣＤカメラ５４を動作させ、ＣＣＤカメラ５４からの撮像画像をディスプレイコントローラ６４に与える（ステップＳ５）。利用者は、ＣＣＤカメラ５によって、上記服を着せたい対象である犬を撮像する。ディスプレイコントローラ６４は、与えられた撮像画像を第２のメモリ（図示せず）に記録する。これにより、ディスプレイコントローラ６４は、第２のメモリに記録された犬の撮像画像の上に、第１のメモリに記録された服画像を重ねて、ディスプレイ６６にて表示する（ステップＳ６）。

利用者は、ディスプレイ６６に表示された犬の撮像画像と服画像との重なりが、あたかも、犬が服を着ているように見えるように、ＣＣＤカメラ５４の向きを調節したり、遠近調節ボタン７０を操作したりする。ＣＰＵ５０は、遠近調節ボタン７０が「ワイド」方向に押下されると、撮像範囲を広くするように、ＣＣＤカメラ５４の撮像範囲を制御する。また、遠近調節ボタン７０が「ナロー」方向に押下されると、撮像範囲を狭くするように、ＣＣＤカメラ５４の撮像範囲を制御する（ステップＳ７）。

利用者は、ディスプレイ６６を見て、犬の撮像画像と服画像との重なりが、あたかも犬が服を着ているように見えるようになった時に、決定ボタン７２を押下する。ＣＰＵ５０は、決定ボタン７２が押下された時の犬の撮像画像を第２のメモリに固定して保持する。したがって、ＣＣＤカメラ５４の向きを変えても、決定ボタン７２が押下された時の撮像画像に服画像が重ねられた画像が維持される（ステップＳ９）。たとえば、図９に示すように、犬の画像８０の上に服画像８２が重ねられた固定画面が表示される。

服画像の重なり具合が妥当でないなど所望の画像を得られなかった場合には、利用者は、操作キー６８を操作して再撮影の指示を入力する（ステップＳ１０）。ＣＰＵ５０は、再撮影の指示が入力されると、ステップＳ５以下を再び実行する。

他の服について、シミュレーションを行いたい場合には、利用者は、操作キー６８を操作して服選択の指示を入力する（ステップＳ１０）。ＣＰＵ５０は、服選択の指示が入力されると、ステップＳ３以下を再び実行する。

ディスプレイ６６の画像を見て、当該服が気に入った場合には、利用者は、操作キー６８を操作して購入の指示を入力する（ステップＳ１０）。ＣＰＵ５０は、購入の指示が入力されると、通信回路５６を介して、サーバ装置６への接続を確立する。次に、メモリ５２に記録された当該服の商品ＩＤを読み出して、ユーザＩＤ、購入申込とともにサーバ装置６に送信する（ステップＳ１１）。

購入申込および商品ＩＤ、ユーザＩＤを受けたサーバ装置６は、購入申込の受付処理を行う（ステップＳ１２）。たとえば、ユーザＩＤに基づいて商品の発送先を決定し、決済クレジットカード番号などを特定する。

上記実施形態において、ステップＳ９において、利用者の操作ボタンの操作により、服の形状は変えずに色や模様を変更選択できるようにしてもよい。

また、ステップＳ７やＳ９において、利用者の操作ボタンの操作により、ディスプレイ６６に表示される服の大きさを変更できるようにしてもよい。さらに、ディスプレイ６６に表示される服の位置、傾き（画面に水平な方向への回転だけでなく、画面の奥行き方向への３次元回転も含む）を変更できるようにしてもよい。これにより、遠近調節ボタン７０を用いなくとも、服画像と撮像した犬の画像とを適切に重ねることができる。

また、ステップＳ９にて、犬の画像に重ねて服の画像を表示する際（あるいはその前に）に、次のような処理を行ってもよい。ＣＰＵ５０は、服画像に重なりその下にある犬画像の濃淡を取得する。この場合、当該部分の犬画像は、本来均一な濃度を有するものであると仮定する。取得した濃淡を、服画像の対応する部分に適応し、服画像に濃淡を設ける。ＣＰＵ５０は、このようにして濃淡を設けた服画像を用いる。このようにすることで、光の濃淡も考慮したより自然なシミュレーション画像を得ることができる。

なお、上記実施形態では、利用者の操作によって、犬の撮像画像に服画像を重ねるようにしている。しかし、ステップＳ６やＳ９において、ＣＰＵ５０が、犬の撮像画像に基づいて、自動的に服画像の適切な大きさや位置を算出し、犬の撮像画像に重ねるようにしてもよい。たとえば、以下の示すような処理によって、自動的に重ねることができる。

まず、図１０に示すように、服の画像において予め、特徴点αと当該特徴点を通過する直線γを用意しておく。なお、特徴点αは、これを犬の重心点に重ねると適切な重なり具合になるであろうと推測される点である。ただし、この特徴点αおよび直線γは、計算に用いるものであるから、ディスプレイ６６上に表示しなくともよい。ＣＰＵ５０は、撮像した画像から被装着物である犬の画像を抽出し２値化する。さらに、２値化した画像に基づいて、重心点βを算出する。このようにして求めた重心点βを、犬の撮像画像上に配置する（この重心点βも表示する必要はない）。

次に、ＣＰＵ５０は、服画像の特徴点αが犬の画像の重心点αに重なるように、服画像の位置を移動させる（図１２参照）。続いて、直線γと服画像の端部が交わる点Ｅ１と、直線γと犬画像の端部が交わる点Ｅ２が重なるように、服画像の大きさを変更する。たとえば、図１２に示すような状態であれば、服画像を大きくすることにより、点Ｅ１と点Ｅ２を重ねる。

上記のようにして、ＣＰＵ５０は、自動的に、犬の撮像画像に服画像を重ねることができる。

上記実施形態では、服画像をインターネット経由で取得している。しかし、ブルーツース経由で取得した画像、記録媒体によって取得した画像、予め撮像して記録した画像などを用いてもよい。

上記実施形態では、シミュレーション装置として携帯電話装置２を用いているが、デジタルカメラなどを用いてもよい。

上記実施形態では、物品の販売サイトに応用した場合について説明したが、物品の販売とは関係なく、純粋にシミュレーションを行う用途にも使用できる。

上記実施形態では、装着物が犬の服である場合について説明した。しかし、犬の首輪（被装着物は犬）、人の服（被装着物は人）、めがね（被装着物は人）、腕時計（被装着物は人）などについても同様に適用することができる。たとえば、めがねの場合には、透明なレンズ部分については、重ね合わせの際にも透明性を有する画像として扱うことが好ましい。

また、装着物だけでなく、カーテン（被設置物は窓や室内）、家具（被設置物は室内）、車のホイール（被設置物はタイヤや車）、店舗等における看板（被設置物は店舗外観）など、設置物についても同様に適用することができる。さらに、建築物を設置物とし、景観を被設置物として上記シミュレーションを行えば、新たなマンションなどの建築物が景観に与える影響を事前に評価することができる。

この発明の一実施形態によるシミュレーション装置の機能ブロック図である。 シミュレーション装置を用いた物品販売システムのシステム構成図である。 サーバ装置６のハードウエア構成である。 携帯電話装置２のハードウエア構成である。 シミュレーションプログラムおよびサーバプログラムのフローチャートである。 シミュレーションプログラムおよびサーバプログラムのフローチャートである。 メモリ５２に記録されたデータを示す図である。 ディスプレイ６６に表示された服画像の一覧である。 重ね合わされた画像表示の例である。 自動重ね合わせのための服画像データの構造を示す図である。 犬画像の重心点βを示す図である 自動重ね合わせ処理を説明するための図である。

符号の説明

１０・・・記録部
１２・・・撮像部
１４・・・操作手段
１６・・・重畳表示手段
１８・・・決定画像表示手段
２０・・・決定入力手段
２２・・・表示部

Claims (12)

1. 表示部と、
   装着物または設置物の画像を記録する記録部と、
   被装着対象または被設置対象を撮像するための撮像部と、
   撮像部による遠近方向の撮像範囲を操作する操作手段と、
   上記記録部に記録された装着物または設置物の画像を、撮像した被装着対象または被設置対象の画像をリアルタイムに重ねて表示部に表示する重畳表示手段と、
   表示部を確認しながら操作手段を操作し、被装着対象または被設置対象に、装着物を装着しまたは設置物を設置したように見える状態となったと判断した利用者による決定入力を受ける決定入力手段と、
   決定入力がなされた時の被装着対象または被設置対象の撮像画像に、装着物または設置物の画像を重ねて表示部に表示する決定画像表示手段と、
   を備えたシミュレーション装置。
2. 装着物または設置物の画像を記録する記録部と遠近方向の撮像範囲を操作可能な撮像部と表示部を有するコンピュータにより、下記機能を有するシミュレーション装置を実現するためのシミュレーションプログラムであって、
   上記記録部に記録された装着物または設置物の画像を、撮像した被装着対象または被設置対象の画像をリアルタイムに重ねて表示部に表示する重畳表示手段と、
   表示部を確認しながら撮像範囲を操作し、被装着対象または被設置対象に、装着物を装着しまたは設置物を設置したように見える状態となったと判断した利用者による決定入力を受ける決定入力手段と、
   決定入力がなされた時の被装着対象または被設置対象の撮像画像に、装着物または設置物の画像を重ねて表示部に表示する決定画像表示手段と、
   をコンピュータによって実現するためのシミュレーションプログラム。
3. 請求項１の装置または請求項２のプログラムにおいて、
   前記装着物または設置物の表示部における表示の大きさまたは位置または双方を利用者が操作できる調整操作入力手段を備えていることを特徴とするもの。
4. 表示部と、
   装着物または設置物の画像を記録する記録部と、
   被装着対象または被設置対象を撮像するための撮像部と、
   撮像した被装着対象または被設置対象の画像に、装着物または設置物が装着または設置された状態となるように、装着物または設置物と被装着対象または被設置対象との表示部上における相対的な位置および大きさを自動調整する自動調整手段と、
   調整手段の出力に基づき、被装着対象または被設置対象の画像をリアルタイムに装着物または設置物に重ねて表示部に表示する重畳表示手段と、
   利用者による決定入力を受ける決定入力手段と、
   決定入力がなされた時の被装着対象または被設置対象の撮像画像に、装着物または設置物の画像を重ねて表示部に表示する決定画像表示手段と、
   を備えたシミュレーション装置。
5. 装着物または設置物の画像を記録する記録部と撮像部と表示部を有するコンピュータにより、下記機能を有するシミュレーション装置を実現するためのシミュレーションプログラムであって、
   装着物または設置物の画像を表示部に表示する画像表示手段と、
   撮像した被装着対象または被設置対象の画像に、装着物または設置物が装着または設置された状態となるように、装着物または設置物と被装着対象または被設置対象との表示部上における相対的な位置および大きさを調整する調整手段と、
   調整手段の出力に基づき、被装着対象または被設置対象の画像をリアルタイムに装着物または設置物に重ねて表示部に表示する重畳表示手段と、
   利用者による決定入力を受ける決定入力手段と、
   決定入力がなされた時の被装着対象または被設置対象の撮像画像に、装着物または設置物の画像を重ねて表示部に表示する決定画像表示手段と、
   をコンピュータによって実現するためのシミュレーションプログラム。
6. 請求項１〜５のいずれかの装置またはプログラムにおいて、さらに、
   撮像した被装着対象または被設置対象の画像に基づいて、装着物または設置物の明暗を推定し、装着物または設置物の画像に明暗を施す明暗推定手段を備えたことを特徴とするもの。
7. 請求項１〜６のいずれかのプログラムにおいて、
   前記シミュレーション装置は、携帯電話装置であることを特徴とするもの。
8. 請求項１〜７のいずれかの装置またはプログラムにおいて、
   前記装着物または設置物の表示部における表示色または表示模様を利用者が操作できる色／模様入力手段を備えていることを特徴とするもの。
9. 請求項１〜８のいずれかの装置またはプログラムにおいて、
   前記装着物は、衣類またはホイールであることを特徴とするもの。
10. 請求項１〜８のいずれかの装置またはプログラムにおいて、
    前記設置物は、カーテン、家具または看板であることを特徴とするもの。
11. 請求項１〜９のいずれかの装置またはプログラムにおいて、さらに
    サーバ装置より装着物または設置物の画像および装着物または設置物のＩＤを複数受信する受信手段と、
    受信した装着物または設置物の画像およびＩＤを選択するする画像選択手段と、
    決定画像に表示されている装着物または設置物のＩＤを含む購入申込をサーバ装置に送信する送信手段と、
    を備えたことを特徴とするもの。
12. 被装着対象または被設置対象を撮像部によって撮像し、
    撮像した被装着対象または被設置対象の画像をリアルタイムに装着物または設置物に重ねて表示部に表示し、
    表示部を確認しながら、被装着対象または被設置対象に、装着物を装着しまたは設置物を設置したように見える状態になるように撮像状態を調整し、
    調整完了時の、被装着対象または被設置対象を装着物または設置物に重ねた画像を表示部に表示することを特徴とするシミュレーション方法。

Images