以下、一実施形態に係る立体造形システムについて、図1〜図8に基づいて、詳細に説明する。図1には、一実施形態に係る立体造形システム1の構成がブロック図にて示されている。
立体造形システム1は、図1に示すように、撮像機器10と、この撮像機器10から画像データ等を取得して3D・CAD(Computer Aided Design)データを作成するサーバ20と、立体造形装置30と、印刷装置40と、を備える。本実施形態では、撮像機器10で撮像した2次元の画像データをサーバ20で補間して3D・CADデータを生成する。また、立体造形装置30及び印刷装置40は、サーバ20において生成された3D・CADデータ(及び2Dデータ)を用いて、擬似的な立体造形を作成する。
(撮像機器10)
撮像機器10は、デジタルカメラやスマートフォンなどの撮像機能を有する機器であり、本実施形態ではデジタルカメラであるものとする。撮像機器10は、図1に示すように、撮像部11、表示部12、検出部13、記憶部14、GPS(Global Positioning System)モジュール15、方位センサ16、操作部17、通信部18、および制御部19等を備える。
撮像部11は、複数のレンズ、撮像素子、画像処理回路などを有しており、静止画や動画を撮像するものである。
表示部12は、例えば液晶ディスプレイであり、図2に示すように、撮像部11が撮像した画像(スルー画、静止画、動画)を表示したり、各種メニューを表示したりするものである。また、表示部12は、サーバ20において生成された3D・CADデータに基づく3Dイメージや2Dデータを修正するための画面を表示する(図6(a)参照)。
検出部13は、顔検出機能、ペット検出機能、背景検出機能などの物体認識機能を備えており、撮像部11が撮像した画像に対して、各検出機能による検出結果をメタデータとして付随させるものである。なお、顔検出機能や、ペット検出機能は、例えば特開2011−186874号に開示されており、物体認識機能については、例えば、特開2004−133637号に記載されている。また、検出部13は、日時検出機能や、温度検出機能、湿度検出機能を備えているものとする。なお、顔検出機能や、ペット検出機能は、撮像部11が有していてもよく、この場合には、撮像部11が各検出機能による検出結果を画像データにメタデータとして付随させるようにする。
更に、検出部13は、撮像位置から画像データ内の物体(被写体(人やペット)や背景)までの距離を検出する機能も有している。具体的には、検出部13は、距離画像センサを含み、光源から出射された光が被写体又は背景で反射して受光部に届くまでの光の飛行時間から、被写体又は背景までの距離を検出する(TOF(Time-of-Flight)法)。なお、被写体や背景までの距離データも、画像データに付随するメタデータである。なお、被写体や背景までの距離は、TOF法以外の方法を用いて検出することとしてもよい。
図2は、撮像部11が撮像したスルー画を表示部12に表示している図である。スルー画が表示されている状態で後述するレリーズスイッチが半押しされると撮像部11は、AE(Automatic Exposure:自動露出)やAF(Auto Focus)などの撮像準備を行い、検出部13は、顔検出や、ペット検出を行い、検出した部分をスルー画に重ねて矩形枠で表示する。
図1に戻り、記憶部14は、例えば不揮発性のフラッシュメモリを有し、各種プログラムや、撮像部11が撮像した画像データを記憶するものである。なお、撮像部11が撮像した画像データは、撮像機器10に着脱可能な記憶媒体(例えばSDカード)に記憶させてもよい。
GPSモジュール15は、撮像機器10の位置の情報(例えば緯度および経度)を検出するセンサである。撮像部11が撮像したタイミングにおいてGPSモジュール15で検出された位置の情報は、撮像部11が撮像した画像データのメタデータとなる。
方位センサ16は、方位を検出するためのセンサであり、互いに直交する方向の地磁気成分を検出する2軸の磁気センサを有している。方位センサ16では、2軸の地磁気センサによる磁界検出値から方位を検出する。なお、撮像部11が撮像したタイミングにおいて方位センサ16で検出された方位の情報は、撮像部11が撮像した画像のメタデータとなる。
操作部17は、撮像部11の操作を行ったり、サーバ20、立体造形装置30及び印刷装置40などと通信するための操作を行うものである。本実施形態では、図2に示すように、操作部17は、ユーザからの撮像指示を受け付けるレリーズスイッチ17aと、表示部12に表示されたメニューを選択するためのマルチセレクタ17bとを有する。撮像機器10の不図示の電源がユーザによってONされると撮像部11は撮像(スルー画の撮像)を開始する。この場合、表示部12にそのスルー画が表示され、この状態でユーザによってレリーズスイッチ17aが半押しされると、撮像部11及び検出部13が前述の処理を行う。また、ユーザによってレリーズスイッチ17aが全押しされると、撮像部11は、静止画の撮像を実行する。なお、表示部12にタッチパネルを設け、該タッチパネルを操作部17として用いることとしてもよい。この場合、ユーザによるタッチパネルのタッチ操作に応じて、メニュー選択や撮像指示を受け付けるようにしてもよい。
通信部18は、無線(無線LAN(Local Area Network)など)により、サーバ20および立体造形装置30と通信するものである。通信部18は、サーバ20に対して画像データやメタデータを送信する。また、通信部18は、サーバ20において作成された3D・CADデータや3Dイメージ、2Dデータをサーバ20から受信する。また、操作部材17を介してユーザから3Dイメージ、2Dデータの修正指示が入力された場合には、通信部18は、該修正指示をサーバ20に送信する。更に、通信部18は、立体造形装置30や印刷装置40に対してサーバ20から受信した3D・CADデータや2Dデータを送信する。
制御部19は、CPU(Central Processing Unit)等を備え、撮像機器10全体を制御するものである。本実施形態においては、制御部19は、サーバ20と連携して3D・CADデータや2Dデータを作成し、作成した3D・CADデータや2Dデータを立体造形装置30及び印刷装置40に送信して立体造形の作成指示を出す。
(サーバ20)
サーバ20は、図1に示すように、通信部21、画像解析部22、データ部23、データ作成部24および制御部25を有する。
通信部21は、無線(無線LANなど)により撮像機器10と通信するものである。通信部21は、撮像機器10から送信されてきた画像データやメタデータを受信し、データ作成部24において作成される3D・CADデータや3Dイメージ、2Dデータなどを撮像機器10に送信する。また、通信部21は、ユーザによる3D・CADデータや3Dイメージ、2Dデータへの修正指示を撮像機器10から受信する。
画像解析部22は、撮像機器10から送信されてきた画像データやメタデータ(例えば、顔検出データ、ペット検出データ、位置データ、距離データなど)に基づいて画像を解析する。なお、画像解析部22に顔検出機能、ペット検出機能などの物体認識機能を持たせ、撮像機器10から送付されてきた画像データを画像解析部22において解析するようにしてもよい。これにより、ペット検出機能などの物体認識機能を有さない撮像機器をユーザが利用している場合でも、画像データの各種解析を行うことができる。
データ部23は、各種画像データ、地図データ、スケールデータ(大きさ、高さ)を有している。例えば、画像データとしては、撮像機器10から送付されてきた画像データのほか、撮像機器10で撮像されたその他の画像データや、他のユーザが撮像した第三者への使用が許可された画像データなどが含まれる。地図データは、地形(山や川、湖、海など)に関するデータや、地図上の建物の位置に関するデータなどを含む。スケールデータは、地形の大きさや高さに関するデータ、建物の大きさや高さに関するデータなどを含む。また、データ部23は、富士山などの有名な山、ゴールデンゲートブリッジなどの有名な構造物の3D・CADデータを記憶している。更に、データ部23は、人(男性、女性、子供)やペット(犬や猫)、その他の動物、電車、車などの基本的な3D・CADデータを記憶している。
データ作成部24は、画像解析部22の解析結果を利用して、撮像機器10から送信されてきた画像データの中から、立体造形装置30で立体造形を行う部分を特定し、該特定した部分を立体造形するために必要な3D・CADデータを作成する。また、データ作成部24は、画像解析部22の解析結果を利用して、撮像機器10から送信されてきた画像データのうち、立体造形を行わない部分を決定し、該部分を2Dデータとして生成する。例えば、図2のように、富士山及び山中湖の前で人及びペット(犬)を被写体として撮像した場合、データ作成部24は、人及びペット(犬)の3D・CADデータを作成し、背景部分の2Dデータを作成する。
なお、データ作成部24は、3D・CADデータに基づく3Dイメージを作成し、2Dデータとともに、通信部21を介して、撮像機器10又はユーザに指定された表示機器(デスクトップPC、ノートPC、タブレット型PCなど)に送信する。なお、本実施形態では、データ作成部24は、撮像機器10に対して3Dイメージ及び2Dデータを送信するものとして説明する。
ここで、撮像機器10に表示される画面においては、3Dイメージを及び2Dデータに対するユーザからの修正作業を受け入れ可能な状態となっている(図6(a)参照)。すなわち、ユーザは、撮像機器10に表示される画面上において、レイアウトや大きさの修正、不要な部分の削除指示を操作部17から入力することができ、当該入力された修正指示は、通信部18を介して、サーバ20に送信されるようになっている。したがって、データ作成部24は、ユーザからの修正指示を受信した場合には、修正指示に基づき3D・CADデータ及び2Dデータを修正し、修正後の3D・CADデータ及び2Dデータを撮像機器10に送信する。
制御部25は、CPU等を備え、サーバ20全体を制御するものであり、本実施形態においては、撮像機器10と連携して3D・CADデータや2Dデータを作成する。
(立体造形装置30)
立体造形装置30は、撮像機器10から受信した3D・CADデータに基づき、インクジェットヘッドを用いて樹脂を滴下し、3次元の立体物を造形するものである。このような造形技術は、インクジェット法と呼ばれている。なお、3次元の立体物を造形する技術としては、インクジェット法に限らず、インクジェットバインダ法、溶融物体積法(FDM:Fused Deposition Molding)、光造形法(SL:Stereo Lithography)、粉末焼結法(SLS:Selective Laser Sintering)などを用いることができる。
立体造形装置30は、操作部31、テーブル部32、印刷部33、第1駆動部34、第2駆動部35、通信部36、及び制御部37を有する。
操作部31は、立体造形装置30による造形を開始するスタートボタンや、ストップボタンを有している。
テーブル部32は、樹脂の造型を行う作業台としてのテーブルを有している。テーブルは例えば矩形形状を有しているものとする。
印刷部33は、複数のカートリッジを有する。複数のカートリッジとしては、赤色樹脂、白色樹脂、青色樹脂、黒色樹脂などの色を個別に保持するカートリッジを採用することができる。また、印刷部33は、各樹脂をテーブル部32上に滴下するインクジェットノズルを有する。
第1駆動部34は、印刷部33(インクジェットノズル)をZ方向(鉛直方向)に駆動するアクチュエータ(たとえば、ステッピングモータ)を備えており、印刷部33とテーブル部32のZ方向に関する位置関係を変更する。
第2駆動部35は、テーブル部32を水平方向(X,Y方向)に駆動するアクチュエータ(たとえば、ステッピングモータ)を備えており、テーブル部32と印刷部33とのX,Y方向に関する位置関係を変更する。
これにより、テーブル部32と印刷部33との2次元平面(XY平面)と鉛直方向(Z方向)の位置関係を相対的に変更させつつ、印刷部33のインクジェットノズルから樹脂をテーブル部32上に滴下することで、テーブル部32上に立体造形を作成することができる。
なお、第1、第2駆動部34,35は、印刷部33をX,Y方向に駆動するとともに、テーブル部32をZ方向に駆動することとしてもよい。
通信部36は、無線(無線LANなど)により、撮像機器10と通信を行い3D・CADデータを受信して、不図示のメモリに記憶させる。
制御部37は、立体造形装置30全体を制御するものであり、CPUやRAM(Random Access Memory)などを備える。本実施形態において、制御部37は、3D・CADデータに基づき、印刷部33、第1駆動部34、第2駆動部35の駆動制御を行う。
なお、不図示ではあるものの、立体造形装置30に表示部を設け、加工終了予定時刻や、カートリッジの交換時期など、立体造形装置30に関する情報を表示するようにしてもよい。
(印刷装置40)
印刷装置40は、紙媒体(紙のように薄い媒体(布なども含む))への印刷を行うプリンタであり、操作部41、紙送り部42、印刷部43、駆動部44、通信部46、及び制御部47を有する。
操作部41は、印刷装置40による印刷を開始するスタートボタンや、ストップボタンを有している。
紙送り部42は、印刷する紙媒体を一方向に送る機構を有している。印刷部43は、複数色のインクカートリッジを有する。また、印刷部43は、各色のインクを紙媒体上に吹き付けるインクジェットノズルを有する。
駆動部44は、印刷部43(インクジェットノズル)を紙が送られる方向に交差する方向に駆動するアクチュエータ(たとえば、ステッピングモータ)を備えている。
本実施形態では、紙送り部42と駆動部44の作用により、インクジェットノズルと紙媒体との位置関係を変更しつつ、印刷部43のインクジェットノズルからインクを紙媒体上に吹き付けることで、紙媒体上に描画することができる。
通信部46は、無線(無線LANなど)により、撮像機器10と通信を行い2Dデータを受信して、不図示のメモリに記憶させる。
制御部47は、印刷装置40全体を制御するものであり、CPUやRAMなどを備える。本実施形態において、制御部47は、2Dデータに基づき、紙送り部42、印刷部43、駆動部44の駆動制御を行うことで、2Dデータを紙媒体に印刷する。
なお、不図示ではあるものの、印刷装置40に表示部を設け、印刷終了予定時刻や、インクカートリッジの交換時期など、印刷装置40に関する情報を表示するようにしてもよい。
(処理・動作)
以上のように構成される本実施形態の立体造形システム1の処理・動作について図3のフローチャートに沿って、その他図面を適宜参照しつつ、詳細に説明する。
図3は、制御部25による処理を示すフローチャートである。図3の処理では、まず、ステップS10において、制御部25は、撮像機器10から画像データ及びこの画像データに付随するメタデータを受信するまで待機する。例えば、立体造形を作成したいと考えたユーザは、撮像機器10において撮像した画像データを表示部12上に表示した状態で、サーバ20に画像データ及びメタデータを送信する指示を操作部17から入力するものとする。この入力を受け付けた撮像機器10の制御部19は、通信部18を介して、サーバ20に画像データとメタデータを送信する。制御部25は、画像データ及びメタデータを受信すると、ステップS12に移行する。なお、本実施形態では、図2に示されている画像データ及びこれに付随するメタデータを受信したものとする
ステップS12に移行すると、制御部25は、画像解析部22を制御して、画像データおよびメタデータの確認を行う。具体的には、画像解析部22は、画像データに基づいて、色情報の確認などを行うとともに、メタデータに基づいて、撮像場所、撮像の方位、顔認識やペット認識などの物体認識の結果、画像データ中の物体までの距離、日時、気温などを確認する。そして、画像解析部22は、物体認識の結果や、物体までの距離等に基づいて、被写体と背景とを特定し、画像データ中の被写体部分を立体造形を行う部分とし、背景部分を立体造形を行わない部分と特定する。なお、本実施形態では、画像解析部22は、図2の人とペットを被写体部分(立体造形を行う部分)と特定し、その他の部分を立体造形を行わない部分と特定したとする。更に、本実施形態では、画像解析部22は、撮像場所のデータとデータ部23の地図データとから、撮像場所が山中湖であることを確認し、位置データや方位センサの出力と地図データとから物体認識機能により認識された山が富士山であることを確認する。
次いで、ステップS14では、制御部25は、ステップS12の確認結果に基づき、データ部23から3D・CADデータ及び2Dデータを作成するために必要なデータを抽出する。3D・CADデータを作成するために必要なデータとしては、人(男性)の基本的な3D・CADデータとペット(犬)の基本的な3D・CADデータを抽出することができる。また、顔認識の結果、人物が特定でき、当該人物を横から見た姿や後から見た姿の画像データがデータ部23から抽出できるような場合には、そのような画像データも抽出する。なお、データ部23には、人物の3D・CADデータとして体型に応じた複数のデータを格納しておいてもよい。この場合、上述のように人物が特定でき、かつ当該人物の基本情報(身長や体重など)がデータ部23に格納されているような場合には、当該基本情報に近似する人物の3D・CADデータを抽出するようにしてもよい。あるいは、画像データから推定可能な範囲(頭の大きさを基準とした各部の大きさ・比率など)で、近似する体型の3D・CADデータを抽出するようにしてもよい。また、データ部23には、ペットの種類(犬種など)に応じた3D・CADデータを複数格納しておいてもよい。この場合、制御部25は、ペット認識において判明した犬種(プードルなど)に基づいて、当該犬種に対応する基本的な3D・CADデータをデータ部23から抽出するようにすればよい。
また、制御部25は、画像データから背景部分の2Dデータを作成するために必要なデータとして、同一の(又は近似する)撮像場所で撮像された画像データを抽出する。このような画像データを用いることで、図4に破線にて示すように、人やペットなどの被写体によって隠れている背景部分がある場合であっても、抽出した画像データを用いて補間することが可能である。また、画像データにおいては、背景にフォーカスが合っていないことが多いので、背景の画像データを山や湖にフォーカスが合っている画像データに差し替えるようにしてもよい。この場合、特許第4826152号(特開2007−4471号)に開示されているように撮影光学系の射出瞳の異なる領域からの光束を個別に扱えるユニットを撮像機器10に設けることにより、任意の撮影距離に位置する被写体(本実施形態では山や湖などの背景)に焦点のあった画像データを合成できる。制御部25は、この任意焦点の画像データを用いて2Dデータを作成するようにしてもよい。なお、制御部25は、撮像機器10の表示部12上に、同一の(又は近似する)撮像場所で撮像された画像データを所有しているか否かなどを問い合わせる表示を行うこととしてもよい。あるいは、立体造形を行おうとしている画像データを撮像する直前の画像データ(レリーズスイッチ15aが全押しされる直前の画像データ)を撮像機器10において撮像しているような場合には、制御部25は、当該撮像データを送信するよう、撮像機器10の制御部19に要求することとしてもよい。なお、要求する画像データは、静止画であってもよいし、動画であってもよい。
次いで、ステップS16では、制御部25は、ステップS14にてデータ部23より収集したデータをデータ作成部24に送信し、データ作成部24に対して、3D・CADデータおよび3Dイメージ、並びに2Dデータを作成させる。データ作成部24は、抽出した基本的な3D・CADデータに対して、画像データの情報及び抽出した画像データの情報を反映させることで、3D・CADデータを作成する。より具体的には、データ作成部24は、画像データ中の被写体の顔(表情)、姿勢(ポーズ)、服装、装着品(腕時計やアクセサリ)、色などを、3D・CADデータに反映させる。また、画像解析部22が画像データから被写体を認識でき、制御部25が認識された被写体の他の画像データ(横向きの画像データ)を収集できた場合には、データ作成部24は、収集した画像データからその人物の寸法データ(例えば、被写体を横から見たときの厚み方向の寸法情報)を収集し、3D・CADデータに反映させる。また、データ作成部24は、3D・CADデータに基づいて、3Dイメージを作成する。
なお、図2の画像データにおいては、被写体(人)の上半身しか写っていないため、データ作成部24は、画像データに基づいて、画像データに映っている被写体の最下端部分を立体造形の基準とする。ただし、これに限らず、撮像日時や、環境(温度、気温)を示すメタデータ、及び収集した画像データから、被写体(人)の下半身の服装を推定できるような場合には、被写体の下半身を含む3D・CADデータ及び3Dイメージを作成するようにしてもよい。この場合、データ作成部24は、撮像日時や環境(温度、気温)を示すメタデータと近似するメタデータが付随している画像データを参照して、被写体(人)がどのようなズボンや靴を着用している可能性が高いかを推定すればよい。
更に、データ作成部24は、画像データから背景部分を抽出し、背景部分のうち、被写体によって隠れている部分(図4の破線内部分)を他の画像データ(ステップS14で収集した画像データ)を用いて補間するなどして、2Dデータを作成する。ここで、作成される2Dデータは、図5に示すようなデータとなる。
次いで、ステップS18では、制御部25は、ステップS16で作成した3Dイメージ、2Dデータを通信部21により撮像機器10に送信する。この場合、撮像機器10の制御部19は、表示部12上に、図6(a)に示すような修正用の画面を表示する。ここで、制御部25は、ユーザに対して回答期限を設定し(例えば数日)、ステップS20において、ユーザの回答(修正せずに、データを確定してよいのか、修正をする必要があるのかの回答)があるまで待機する。ユーザは、表示部12上の各種アイコンを用いることで、全体のスケール、背景と被写体との相対的なスケール、奥行方向のスケール、高さ方向のスケール、配色などを修正することができる。また、ユーザは、不要な部分、例えば図6(a)のユーザの背後にある柵や植栽を選択して削除することもできるものとする。
なお、ユーザは、スケールの修正や柵や植栽の削除を行うことで、図6(b)に示すようなデータの修正を回答したものとする。なお、修正の回答があった場合、撮像機器10の制御部19は、修正指示をサーバ20の制御部25に対して送信する。ユーザからの回答があった場合、制御部25は、ステップS22に移行する。なお、図6(a)、図6(b)に示してある修正用の画面は、サーバ20から撮像機器10にダウンロードするようにすればよい。
なお、上記説明では、ユーザが図6(a)の画面上のアイコンを用いて修正を行う場合について説明したが、これに限らず、修正は、ユーザが3Dイメージ及び2Dデータを表示部12にて確認しながら、サーバ20からの質問に答える対話形式により行われることとしてもよい。
ステップS22では、制御部25は、修正有りの回答であったか否かを判断する。ここでの判断が肯定された場合には、ステップS16に戻る。ステップS16に戻った場合、制御部25は、データ作成部24を制御して、ユーザからの修正指示を3D・CADデータ(3Dイメージ)及び2Dデータに反映させ、修正後の3Dイメージ及び2Dデータを撮像機器10に送信し(S18)、ユーザからの回答を待つ(S20)。なお、データ作成部24は、ユーザからの修正指示に、柵や植栽を削除する指示が含まれる場合には、柵や植栽の周辺の画素の色に基づいて、2Dデータを修正(柵や植栽を削除)すればよい。
一方、ステップS22の判断が否定された場合には、制御部25は、ステップS24に移行する。ステップS24では、制御部25は、通信部21を介して、3D・CADデータおよび2Dデータを撮像機器10に送信する。これにより、図3の全処理が終了する。
なお、撮像機器10においては、3D・CADデータおよび2Dデータを受け取ると、該データを記憶部14に記憶する。そして、操作部17を介してユーザから立体造形開始の指示が入力されると、制御部19は、3D・CADデータを通信部18を介して立体造形装置30に送信するとともに、2Dデータを通信部18を介して印刷装置40に送信する。
そして、3D・CADデータを受信した立体造形装置30の制御部37は、3D・CADデータに基づき、印刷部33、テーブル部32、第1、2駆動部34,35を制御して立体造形を作成する。また、2Dデータを受信した印刷装置40の制御部47は、2Dデータに基づき、印刷部43、駆動部44、紙送り部42を制御して紙媒体に2Dデータを印刷する。
以上により、画像データに基づいて、図7に示すような立体造形と背景写真とを組み合わせた造形物を作成することが可能である。
なお、本実施形態においては、図8に示すような被写体が富士山や山中湖である画像データが、撮像機器10からサーバ20に送信されてくる場合もある。このような場合には、データ解析部24は、画像データに付随するメタデータのうちGPSモジュール15によって検出された撮像場所を取得し、該撮像場所に基づいて、被写体の山や湖が富士山や山中湖であると特定する。また、ステップS14では、制御部25は、富士山や山中湖の基本的な3D・CADデータ、山中湖や富士山に関連した画像(山中湖、富士山を複数方向から撮像した画像)、地図データ、スケールデータなどをデータ部23から収集する。そして、ステップS16では、データ作成部24は、収集したデータや、GPSモジュール15や方位センサ16の検出結果などのメタデータに基づいて、3D・CADデータを作成する。これにより、撮像場所及び撮像方向を基準として、富士山と山中湖の立体造形を作成することができる。この場合、ユーザが撮像した画像から立体的な模型(立体造形)を生成するのが目的であれば、大まかな3D・CADデータが作成できればよい。なお、画像データを用いることで、富士山や山中湖の色や状況(雪景色など)を再現することができる。
なお、図8のような画像データの場合、メタデータに含まれる被写体の距離データにおいて、最も手前側に位置する柵や植栽が他よりも極端に近いため、データ作成部24は、これら柵や植栽を3D・CADデータ作成対象から除外するようにしてもよい。
以上、詳細に説明したように、本実施形態によると、制御部25は、通信部21を介して画像データ及びメタデータを取得するとともに、画像データ及びメタデータに基づき、3D・CADデータを作成するための各種データを収集する。そして、データ作成部24は、画像データ、メタデータ及び収集した各種データに基づき3D・CADデータを作成する。このように、本実施形態では、画像データのみでは被写体の3D・CADデータを作成するのが困難な場合であっても、メタデータや収集した各種データを用いることで、3D・CADデータを作成することが可能となる。この場合、ユーザは、被写体を様々な方向から撮像したり、高価な3次元デジタイザなどを用意しなくてもよいため、簡易に立体造形を作成することができる。
また、本実施形態では、データ作成部24は、画像データ及びメタデータと収集した各種データとの少なくとも一方に基づいて、立体造形を行わない部分を決定するので、被写体と背景のように、立体造形を行う部分(被写体)と立体造形を行わない部分(背景)を分けることで、画像データ内の遠近関係や縮尺の影響を考慮した適切な立体造形を行うことができる。
また、本実施形態では、メタデータに、撮像画像の撮像位置のデータ及び撮像方位のデータの少なくとも一方が含まれているので、データ作成部24は、撮像画像の撮像位置のデータ及び撮像方位のデータの少なくとも一方に基づいて各種データを収集することで、背景部分の詳細な情報(山や湖の情報)を推定することができる。これにより、データ作成部24は、推定した情報を3D・CADデータや2Dデータの作成に利用することができる。
また、本実施形態では、制御部25は、画像データにおいて認識された人が撮像された他の画像データを取得し、該他の画像データから特定可能な人物の寸法データ(例えば、認識された人を横から見たときの厚み方向の寸法情報)を収集する。これにより、より正確に人の立体造形を作成することが可能である。
また、本実施形態では、画像データから得られる色に関するデータを用いて、3D・CADデータを作成するので、色彩が施された立体造形を作成することが可能である。
また、本実施形態では、データ作成部24は、画像データに基づいて、立体造形の基準を決定しているので、画像データに対応した(再現した)立体造形を作成することができる。
なお、上記実施形態では、データ作成部24は、被写体部分の3D・CADデータを作成し、背景部分の2Dデータを作成する場合について説明したが、これに限らず、被写体部分の3D・CADデータのみを作成することとしてもよい。この場合、背景部分の2Dデータを作成するか否かを撮像機器10の表示部12上でユーザに問い合わせることとしてもよい。
なお、上記実施形態では、データ作成部24は、被写体部分と背景部分のうち被写体部分の3D・CADデータを作成し、背景部分の2Dデータを作成する場合について説明したが、これに限られるものではない。例えば、データ作成部24は、画像データとメタデータの少なくとも一方に基づいて特定部分(例えば、人の顔部分など)を抽出し、該特定部分の3D・CADデータを作成し、その他を3D・CADデータを作成しない部分として決定することとしてもよい。
なお、上記実施形態では、図3のステップS14において、制御部25が、3D・CADデータ又は2Dデータを作成できるほどのデータを収集できない場合がある。このような場合には、制御部25は、3D・CADデータ又は2Dデータを作成するにあたり不足している情報をユーザに問い合わせるようにしてもよい。例えば、制御部25が、図2の画像データから人の下半身を含む立体造形を作成するとした場合において、人がどのようなズボンや靴を着用していたかの情報を制御部25が収集できなかったとする。このような場合には、制御部25は、ユーザに対して、どのようなズボン及び靴を着用していたかを問い合わせるようにすればよい。また、画像データ中の人が女性の場合には、スカートを着用していたのか、ズボンを着用していたのかなどを問い合わせるようにすればよい。
なお、上記実施形態では、撮像機器10とサーバ20との間で通信を行い、画像データ及びメタデータのやり取りや、3D・CADデータや2Dデータのやり取りを行う場合について説明した。しかしながら、これに限らず、例えば、画像データおよびメタデータのサーバ20への送付は撮像機器10で行う一方、サーバ20からは、3D・CADデータや2Dデータをパーソナルコンピュータや、タブレット型端末などの端末に送信し、該端末において修正作業等を行うようにしてもよい。さらに、画像データおよびメタデータを撮像機器10からパーソナルコンピュータやタブレット型端末などの端末に転送し、該端末からサーバ20へデータを送信するようにしてもよい。
また、パーソナルコンピュータやタブレット型端末などの端末にサーバ20の機能の一部を実現可能なプログラムを実装することで、端末にサーバ20の機能の一部を持たせ、端末にてサーバ20の処理の一部を実行するようにしてもよい。
なお、上記実施形態では、撮像機器とサーバ20間において無線通信を行う場合について説明したが、これに限らず、有線通信を行うこととしてもよい。また、撮像機器10と立体造形装置30及び印刷装置40との間におけるデータの受け渡し方法としては、通信に限らず、可搬型記憶媒体(SDカードなど)を用いたデータの受け渡し方法を採用してもよい。
なお、上記実施形態では、撮像機器10が姿勢センサを有している場合には、該姿勢センサの検出結果を3D・CADデータや2Dデータ作成に利用することとしてもよい。例えば、撮像機器10が下向きの状態で撮像された場合には、ジオラマや模型を作成する可能性が高いと判断できるので、データ作成部24は、画像データ中の全ての部分を立体造形の対象とするなど判断してもよい。
なお、ユーザは、立体造形装置30や印刷装置40を保有していない場合もある。このような場合には、サーバ20側(業者側)が保有する立体造形装置30において立体造形及び印刷を実行するようにしてもよい。この場合、完成した立体造形及び印刷された紙媒体を業者側からユーザに対して配達するようにしてもよい。
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。