JP2018062184A - 電子機器、システム、データ生成方法及びプログラム - Google Patents

Abstract

【課題】使い勝手のよい電子機器を提供する。
【解決手段】電子機器は、撮像に関する第１データを取得する取得部（２５）と、前記取得部が取得した前記第１データに基づき、立体データを作成するための第２データを収集する収集部（２５）と、前記第１、２データに基づき立体造形の第３データを作成する作成部（２４）と、を備えている。
【選択図】図１

Description

本発明は、電子機器に関する。

クリス・アンダーソン氏著書の「Makers」には３Ｄプリンタのような工作機器による２１世紀の産業革命が記載されている。また、最近では、小型の３Ｄプリンタが商品化されつつあり、個人で立体成形を行うことも可能になってきている。

また、立体物造形装置（３Ｄプリンタ）に関する種々技術も提案されてきている（特許文献１等参照）。

特開２０１３−８６２８９号公報

３Ｄプリンタを用いて立体物を造形する場合、３Ｄ・ＣＡＤデータが必要となるが、専門知識のない個人が３Ｄ・ＣＡＤデータを作成するのは容易ではない。また、インターネットなどから３Ｄ・ＣＡＤデータを取得（ダウンロード等）する方式では、データにオリジナリティがなく、使い勝手が十分ではなかった。また、非接触３次元デジタイザなどの写真測量システムも販売されてきてはいるものの、個人レベルで購入するには高価であったり、被写体を様々な方向から撮影する必要があり、使い勝手が十分でなかった。

本発明は上記の課題に鑑みてなされたものであり、使い勝手のよい電子機器を提供することを目的とする。

本発明の電子機器は、撮像に関する第１データを取得する取得部（２５）と、前記取得部が取得した前記第１データに基づき、立体データを作成するための第２データを収集する収集部（２５）と、前記第１、第２データに基づき立体造形の第３データを作成する作成部（２４）と、を備えている。

この場合において、電子機器は、前記第１データと前記第２データとの少なくとも一方に基づいて、前記立体造形を行わない部分を決定する決定部（２４）を備えていてもよい。また、電子機器は、前記第１データに基づいて撮像画像の背景部分を検出する検出部（２４）を備えており、前記決定部は、前記背景部分を前記立体造形を行わない部分として決定することとしてもよい。

本発明の電子機器において、前記第１データは、撮像画像の撮像位置のデータ及び撮像方位のデータの少なくとも一方を含むこととしてもよい。この場合、前記収集部は、前記撮像画像の撮像位置のデータ及び撮像方位のデータの少なくとも一方に基づいて、前記撮像画像中の被写体の寸法データを収集することとしてもよい。

また、前記第１データは、撮像画像に含まれる物体の認識結果のデータを含むこととしてもよい。この場合、前記収集部は、前記撮像画像において認識された人物が撮像された他の撮像画像を取得し、該他の撮像画像から特定可能な前記人物の寸法データを前記第２データとして収集することとしてもよい。

また、前記第１データは、撮像画像から得られる色に関するデータを含むこととしてもよい。また、前記収集部は、前記第１データ以外のデータをユーザに問い合わせることとしてもよい。更に、電子機器は、前記第１データに基づいて、前記立体造形の基準を決定する基準部（２４）を備えていてもよい。

なお、本発明をわかりやすく説明するために、上記においては一実施形態を表す図面の符号に対応つけて説明したが、本発明は、これに限定されるものではなく、後述の実施形態の構成を適宜改良しても良く、また、少なくとも一部を他の構成物に代替させても良い。更に、その配置について特に限定のない構成要件は、実施形態で開示した配置に限らず、その機能を達成できる位置に配置することができる。

本発明は、使い勝手のよい電子機器を提供することができるという効果を奏する。

一実施形態に係る立体造形システムの構成を示すブロック図である。 撮像部が撮像したスルー画を表示部に表示した状態を示す図である。 サーバの制御部による処理を示すフローチャートである。 画像データから被写体を除外した状態を示す図である。 データ作成部によって作成される２Ｄデータの一例を示す図である。 図６（ａ）、図６（ｂ）は、撮像機器の表示部に表示された修正用の画面を示す図である。 画像データに基づいて作成された造形物の一例を示す図である。 画像データの一例を示す図である。

以下、一実施形態に係る立体造形システムについて、図１〜図８に基づいて、詳細に説明する。図１には、一実施形態に係る立体造形システム１の構成がブロック図にて示されている。

立体造形システム１は、図１に示すように、撮像機器１０と、この撮像機器１０から画像データ等を取得して３Ｄ・ＣＡＤ（Computer Aided Design）データを作成するサーバ２０と、立体造形装置３０と、印刷装置４０と、を備える。本実施形態では、撮像機器１０で撮像した２次元の画像データをサーバ２０で補間して３Ｄ・ＣＡＤデータを生成する。また、立体造形装置３０及び印刷装置４０は、サーバ２０において生成された３Ｄ・ＣＡＤデータ（及び２Ｄデータ）を用いて、擬似的な立体造形を作成する。

（撮像機器１０）
撮像機器１０は、デジタルカメラやスマートフォンなどの撮像機能を有する機器であり、本実施形態ではデジタルカメラであるものとする。撮像機器１０は、図１に示すように、撮像部１１、表示部１２、検出部１３、記憶部１４、ＧＰＳ（Global Positioning System）モジュール１５、方位センサ１６、操作部１７、通信部１８、および制御部１９等を備える。

撮像部１１は、複数のレンズ、撮像素子、画像処理回路などを有しており、静止画や動画を撮像するものである。

表示部１２は、例えば液晶ディスプレイであり、図２に示すように、撮像部１１が撮像した画像（スルー画、静止画、動画）を表示したり、各種メニューを表示したりするものである。また、表示部１２は、サーバ２０において生成された３Ｄ・ＣＡＤデータに基づく３Ｄイメージや２Ｄデータを修正するための画面を表示する（図６（ａ）参照）。

検出部１３は、顔検出機能、ペット検出機能、背景検出機能などの物体認識機能を備えており、撮像部１１が撮像した画像に対して、各検出機能による検出結果をメタデータとして付随させるものである。なお、顔検出機能や、ペット検出機能は、例えば特開２０１１−１８６８７４号に開示されており、物体認識機能については、例えば、特開２００４−１３３６３７号に記載されている。また、検出部１３は、日時検出機能や、温度検出機能、湿度検出機能を備えているものとする。なお、顔検出機能や、ペット検出機能は、撮像部１１が有していてもよく、この場合には、撮像部１１が各検出機能による検出結果を画像データにメタデータとして付随させるようにする。

更に、検出部１３は、撮像位置から画像データ内の物体（被写体（人やペット）や背景）までの距離を検出する機能も有している。具体的には、検出部１３は、距離画像センサを含み、光源から出射された光が被写体又は背景で反射して受光部に届くまでの光の飛行時間から、被写体又は背景までの距離を検出する（ＴＯＦ（Time-of-Flight）法）。なお、被写体や背景までの距離データも、画像データに付随するメタデータである。なお、被写体や背景までの距離は、ＴＯＦ法以外の方法を用いて検出することとしてもよい。

図２は、撮像部１１が撮像したスルー画を表示部１２に表示している図である。スルー画が表示されている状態で後述するレリーズスイッチが半押しされると撮像部１１は、ＡＥ（Automatic Exposure：自動露出）やＡＦ（Auto Focus）などの撮像準備を行い、検出部１３は、顔検出や、ペット検出を行い、検出した部分をスルー画に重ねて矩形枠で表示する。

図１に戻り、記憶部１４は、例えば不揮発性のフラッシュメモリを有し、各種プログラムや、撮像部１１が撮像した画像データを記憶するものである。なお、撮像部１１が撮像した画像データは、撮像機器１０に着脱可能な記憶媒体（例えばＳＤカード）に記憶させてもよい。

ＧＰＳモジュール１５は、撮像機器１０の位置の情報（例えば緯度および経度）を検出するセンサである。撮像部１１が撮像したタイミングにおいてＧＰＳモジュール１５で検出された位置の情報は、撮像部１１が撮像した画像データのメタデータとなる。

方位センサ１６は、方位を検出するためのセンサであり、互いに直交する方向の地磁気成分を検出する２軸の磁気センサを有している。方位センサ１６では、２軸の地磁気センサによる磁界検出値から方位を検出する。なお、撮像部１１が撮像したタイミングにおいて方位センサ１６で検出された方位の情報は、撮像部１１が撮像した画像のメタデータとなる。

操作部１７は、撮像部１１の操作を行ったり、サーバ２０、立体造形装置３０及び印刷装置４０などと通信するための操作を行うものである。本実施形態では、図２に示すように、操作部１７は、ユーザからの撮像指示を受け付けるレリーズスイッチ１７ａと、表示部１２に表示されたメニューを選択するためのマルチセレクタ１７ｂとを有する。撮像機器１０の不図示の電源がユーザによってＯＮされると撮像部１１は撮像（スルー画の撮像）を開始する。この場合、表示部１２にそのスルー画が表示され、この状態でユーザによってレリーズスイッチ１７ａが半押しされると、撮像部１１及び検出部１３が前述の処理を行う。また、ユーザによってレリーズスイッチ１７ａが全押しされると、撮像部１１は、静止画の撮像を実行する。なお、表示部１２にタッチパネルを設け、該タッチパネルを操作部１７として用いることとしてもよい。この場合、ユーザによるタッチパネルのタッチ操作に応じて、メニュー選択や撮像指示を受け付けるようにしてもよい。

通信部１８は、無線（無線ＬＡＮ（Local Area Network）など）により、サーバ２０および立体造形装置３０と通信するものである。通信部１８は、サーバ２０に対して画像データやメタデータを送信する。また、通信部１８は、サーバ２０において作成された３Ｄ・ＣＡＤデータや３Ｄイメージ、２Ｄデータをサーバ２０から受信する。また、操作部材１７を介してユーザから３Ｄイメージ、２Ｄデータの修正指示が入力された場合には、通信部１８は、該修正指示をサーバ２０に送信する。更に、通信部１８は、立体造形装置３０や印刷装置４０に対してサーバ２０から受信した３Ｄ・ＣＡＤデータや２Ｄデータを送信する。

制御部１９は、ＣＰＵ（Central Processing Unit）等を備え、撮像機器１０全体を制御するものである。本実施形態においては、制御部１９は、サーバ２０と連携して３Ｄ・ＣＡＤデータや２Ｄデータを作成し、作成した３Ｄ・ＣＡＤデータや２Ｄデータを立体造形装置３０及び印刷装置４０に送信して立体造形の作成指示を出す。

（サーバ２０）
サーバ２０は、図１に示すように、通信部２１、画像解析部２２、データ部２３、データ作成部２４および制御部２５を有する。

通信部２１は、無線（無線ＬＡＮなど）により撮像機器１０と通信するものである。通信部２１は、撮像機器１０から送信されてきた画像データやメタデータを受信し、データ作成部２４において作成される３Ｄ・ＣＡＤデータや３Ｄイメージ、２Ｄデータなどを撮像機器１０に送信する。また、通信部２１は、ユーザによる３Ｄ・ＣＡＤデータや３Ｄイメージ、２Ｄデータへの修正指示を撮像機器１０から受信する。

画像解析部２２は、撮像機器１０から送信されてきた画像データやメタデータ（例えば、顔検出データ、ペット検出データ、位置データ、距離データなど）に基づいて画像を解析する。なお、画像解析部２２に顔検出機能、ペット検出機能などの物体認識機能を持たせ、撮像機器１０から送付されてきた画像データを画像解析部２２において解析するようにしてもよい。これにより、ペット検出機能などの物体認識機能を有さない撮像機器をユーザが利用している場合でも、画像データの各種解析を行うことができる。

データ部２３は、各種画像データ、地図データ、スケールデータ（大きさ、高さ）を有している。例えば、画像データとしては、撮像機器１０から送付されてきた画像データのほか、撮像機器１０で撮像されたその他の画像データや、他のユーザが撮像した第三者への使用が許可された画像データなどが含まれる。地図データは、地形（山や川、湖、海など）に関するデータや、地図上の建物の位置に関するデータなどを含む。スケールデータは、地形の大きさや高さに関するデータ、建物の大きさや高さに関するデータなどを含む。また、データ部２３は、富士山などの有名な山、ゴールデンゲートブリッジなどの有名な構造物の３Ｄ・ＣＡＤデータを記憶している。更に、データ部２３は、人（男性、女性、子供）やペット（犬や猫）、その他の動物、電車、車などの基本的な３Ｄ・ＣＡＤデータを記憶している。

データ作成部２４は、画像解析部２２の解析結果を利用して、撮像機器１０から送信されてきた画像データの中から、立体造形装置３０で立体造形を行う部分を特定し、該特定した部分を立体造形するために必要な３Ｄ・ＣＡＤデータを作成する。また、データ作成部２４は、画像解析部２２の解析結果を利用して、撮像機器１０から送信されてきた画像データのうち、立体造形を行わない部分を決定し、該部分を２Ｄデータとして生成する。例えば、図２のように、富士山及び山中湖の前で人及びペット（犬）を被写体として撮像した場合、データ作成部２４は、人及びペット（犬）の３Ｄ・ＣＡＤデータを作成し、背景部分の２Ｄデータを作成する。

なお、データ作成部２４は、３Ｄ・ＣＡＤデータに基づく３Ｄイメージを作成し、２Ｄデータとともに、通信部２１を介して、撮像機器１０又はユーザに指定された表示機器（デスクトップＰＣ、ノートＰＣ、タブレット型ＰＣなど）に送信する。なお、本実施形態では、データ作成部２４は、撮像機器１０に対して３Ｄイメージ及び２Ｄデータを送信するものとして説明する。

ここで、撮像機器１０に表示される画面においては、３Ｄイメージを及び２Ｄデータに対するユーザからの修正作業を受け入れ可能な状態となっている（図６（ａ）参照）。すなわち、ユーザは、撮像機器１０に表示される画面上において、レイアウトや大きさの修正、不要な部分の削除指示を操作部１７から入力することができ、当該入力された修正指示は、通信部１８を介して、サーバ２０に送信されるようになっている。したがって、データ作成部２４は、ユーザからの修正指示を受信した場合には、修正指示に基づき３Ｄ・ＣＡＤデータ及び２Ｄデータを修正し、修正後の３Ｄ・ＣＡＤデータ及び２Ｄデータを撮像機器１０に送信する。

制御部２５は、ＣＰＵ等を備え、サーバ２０全体を制御するものであり、本実施形態においては、撮像機器１０と連携して３Ｄ・ＣＡＤデータや２Ｄデータを作成する。

（立体造形装置３０）
立体造形装置３０は、撮像機器１０から受信した３Ｄ・ＣＡＤデータに基づき、インクジェットヘッドを用いて樹脂を滴下し、３次元の立体物を造形するものである。このような造形技術は、インクジェット法と呼ばれている。なお、３次元の立体物を造形する技術としては、インクジェット法に限らず、インクジェットバインダ法、溶融物体積法（ＦＤＭ：Fused Deposition Molding）、光造形法（ＳＬ：Stereo Lithography）、粉末焼結法（ＳＬＳ：Selective Laser Sintering）などを用いることができる。

立体造形装置３０は、操作部３１、テーブル部３２、印刷部３３、第１駆動部３４、第２駆動部３５、通信部３６、及び制御部３７を有する。

操作部３１は、立体造形装置３０による造形を開始するスタートボタンや、ストップボタンを有している。

テーブル部３２は、樹脂の造型を行う作業台としてのテーブルを有している。テーブルは例えば矩形形状を有しているものとする。

印刷部３３は、複数のカートリッジを有する。複数のカートリッジとしては、赤色樹脂、白色樹脂、青色樹脂、黒色樹脂などの色を個別に保持するカートリッジを採用することができる。また、印刷部３３は、各樹脂をテーブル部３２上に滴下するインクジェットノズルを有する。

第１駆動部３４は、印刷部３３（インクジェットノズル）をＺ方向（鉛直方向）に駆動するアクチュエータ（たとえば、ステッピングモータ）を備えており、印刷部３３とテーブル部３２のＺ方向に関する位置関係を変更する。

第２駆動部３５は、テーブル部３２を水平方向（Ｘ，Ｙ方向）に駆動するアクチュエータ（たとえば、ステッピングモータ）を備えており、テーブル部３２と印刷部３３とのＸ，Ｙ方向に関する位置関係を変更する。

これにより、テーブル部３２と印刷部３３との２次元平面（ＸＹ平面）と鉛直方向（Ｚ方向）の位置関係を相対的に変更させつつ、印刷部３３のインクジェットノズルから樹脂をテーブル部３２上に滴下することで、テーブル部３２上に立体造形を作成することができる。

なお、第１、第２駆動部３４，３５は、印刷部３３をＸ，Ｙ方向に駆動するとともに、テーブル部３２をＺ方向に駆動することとしてもよい。

通信部３６は、無線（無線ＬＡＮなど）により、撮像機器１０と通信を行い３Ｄ・ＣＡＤデータを受信して、不図示のメモリに記憶させる。

制御部３７は、立体造形装置３０全体を制御するものであり、ＣＰＵやＲＡＭ（Random Access Memory）などを備える。本実施形態において、制御部３７は、３Ｄ・ＣＡＤデータに基づき、印刷部３３、第１駆動部３４、第２駆動部３５の駆動制御を行う。

なお、不図示ではあるものの、立体造形装置３０に表示部を設け、加工終了予定時刻や、カートリッジの交換時期など、立体造形装置３０に関する情報を表示するようにしてもよい。

（印刷装置４０）
印刷装置４０は、紙媒体（紙のように薄い媒体（布なども含む））への印刷を行うプリンタであり、操作部４１、紙送り部４２、印刷部４３、駆動部４４、通信部４６、及び制御部４７を有する。

操作部４１は、印刷装置４０による印刷を開始するスタートボタンや、ストップボタンを有している。

紙送り部４２は、印刷する紙媒体を一方向に送る機構を有している。印刷部４３は、複数色のインクカートリッジを有する。また、印刷部４３は、各色のインクを紙媒体上に吹き付けるインクジェットノズルを有する。

駆動部４４は、印刷部４３（インクジェットノズル）を紙が送られる方向に交差する方向に駆動するアクチュエータ（たとえば、ステッピングモータ）を備えている。

本実施形態では、紙送り部４２と駆動部４４の作用により、インクジェットノズルと紙媒体との位置関係を変更しつつ、印刷部４３のインクジェットノズルからインクを紙媒体上に吹き付けることで、紙媒体上に描画することができる。

通信部４６は、無線（無線ＬＡＮなど）により、撮像機器１０と通信を行い２Ｄデータを受信して、不図示のメモリに記憶させる。

制御部４７は、印刷装置４０全体を制御するものであり、ＣＰＵやＲＡＭなどを備える。本実施形態において、制御部４７は、２Ｄデータに基づき、紙送り部４２、印刷部４３、駆動部４４の駆動制御を行うことで、２Ｄデータを紙媒体に印刷する。

なお、不図示ではあるものの、印刷装置４０に表示部を設け、印刷終了予定時刻や、インクカートリッジの交換時期など、印刷装置４０に関する情報を表示するようにしてもよい。

（処理・動作）
以上のように構成される本実施形態の立体造形システム１の処理・動作について図３のフローチャートに沿って、その他図面を適宜参照しつつ、詳細に説明する。

図３は、制御部２５による処理を示すフローチャートである。図３の処理では、まず、ステップＳ１０において、制御部２５は、撮像機器１０から画像データ及びこの画像データに付随するメタデータを受信するまで待機する。例えば、立体造形を作成したいと考えたユーザは、撮像機器１０において撮像した画像データを表示部１２上に表示した状態で、サーバ２０に画像データ及びメタデータを送信する指示を操作部１７から入力するものとする。この入力を受け付けた撮像機器１０の制御部１９は、通信部１８を介して、サーバ２０に画像データとメタデータを送信する。制御部２５は、画像データ及びメタデータを受信すると、ステップＳ１２に移行する。なお、本実施形態では、図２に示されている画像データ及びこれに付随するメタデータを受信したものとする

ステップＳ１２に移行すると、制御部２５は、画像解析部２２を制御して、画像データおよびメタデータの確認を行う。具体的には、画像解析部２２は、画像データに基づいて、色情報の確認などを行うとともに、メタデータに基づいて、撮像場所、撮像の方位、顔認識やペット認識などの物体認識の結果、画像データ中の物体までの距離、日時、気温などを確認する。そして、画像解析部２２は、物体認識の結果や、物体までの距離等に基づいて、被写体と背景とを特定し、画像データ中の被写体部分を立体造形を行う部分とし、背景部分を立体造形を行わない部分と特定する。なお、本実施形態では、画像解析部２２は、図２の人とペットを被写体部分（立体造形を行う部分）と特定し、その他の部分を立体造形を行わない部分と特定したとする。更に、本実施形態では、画像解析部２２は、撮像場所のデータとデータ部２３の地図データとから、撮像場所が山中湖であることを確認し、位置データや方位センサの出力と地図データとから物体認識機能により認識された山が富士山であることを確認する。

次いで、ステップＳ１４では、制御部２５は、ステップＳ１２の確認結果に基づき、データ部２３から３Ｄ・ＣＡＤデータ及び２Ｄデータを作成するために必要なデータを抽出する。３Ｄ・ＣＡＤデータを作成するために必要なデータとしては、人（男性）の基本的な３Ｄ・ＣＡＤデータとペット（犬）の基本的な３Ｄ・ＣＡＤデータを抽出することができる。また、顔認識の結果、人物が特定でき、当該人物を横から見た姿や後から見た姿の画像データがデータ部２３から抽出できるような場合には、そのような画像データも抽出する。なお、データ部２３には、人物の３Ｄ・ＣＡＤデータとして体型に応じた複数のデータを格納しておいてもよい。この場合、上述のように人物が特定でき、かつ当該人物の基本情報（身長や体重など）がデータ部２３に格納されているような場合には、当該基本情報に近似する人物の３Ｄ・ＣＡＤデータを抽出するようにしてもよい。あるいは、画像データから推定可能な範囲（頭の大きさを基準とした各部の大きさ・比率など）で、近似する体型の３Ｄ・ＣＡＤデータを抽出するようにしてもよい。また、データ部２３には、ペットの種類（犬種など）に応じた３Ｄ・ＣＡＤデータを複数格納しておいてもよい。この場合、制御部２５は、ペット認識において判明した犬種（プードルなど）に基づいて、当該犬種に対応する基本的な３Ｄ・ＣＡＤデータをデータ部２３から抽出するようにすればよい。

また、制御部２５は、画像データから背景部分の２Ｄデータを作成するために必要なデータとして、同一の（又は近似する）撮像場所で撮像された画像データを抽出する。このような画像データを用いることで、図４に破線にて示すように、人やペットなどの被写体によって隠れている背景部分がある場合であっても、抽出した画像データを用いて補間することが可能である。また、画像データにおいては、背景にフォーカスが合っていないことが多いので、背景の画像データを山や湖にフォーカスが合っている画像データに差し替えるようにしてもよい。この場合、特許第４８２６１５２号（特開２００７−４４７１号）に開示されているように撮影光学系の射出瞳の異なる領域からの光束を個別に扱えるユニットを撮像機器１０に設けることにより、任意の撮影距離に位置する被写体（本実施形態では山や湖などの背景）に焦点のあった画像データを合成できる。制御部２５は、この任意焦点の画像データを用いて２Ｄデータを作成するようにしてもよい。なお、制御部２５は、撮像機器１０の表示部１２上に、同一の（又は近似する）撮像場所で撮像された画像データを所有しているか否かなどを問い合わせる表示を行うこととしてもよい。あるいは、立体造形を行おうとしている画像データを撮像する直前の画像データ（レリーズスイッチ１５ａが全押しされる直前の画像データ）を撮像機器１０において撮像しているような場合には、制御部２５は、当該撮像データを送信するよう、撮像機器１０の制御部１９に要求することとしてもよい。なお、要求する画像データは、静止画であってもよいし、動画であってもよい。

次いで、ステップＳ１６では、制御部２５は、ステップＳ１４にてデータ部２３より収集したデータをデータ作成部２４に送信し、データ作成部２４に対して、３Ｄ・ＣＡＤデータおよび３Ｄイメージ、並びに２Ｄデータを作成させる。データ作成部２４は、抽出した基本的な３Ｄ・ＣＡＤデータに対して、画像データの情報及び抽出した画像データの情報を反映させることで、３Ｄ・ＣＡＤデータを作成する。より具体的には、データ作成部２４は、画像データ中の被写体の顔（表情）、姿勢（ポーズ）、服装、装着品（腕時計やアクセサリ）、色などを、３Ｄ・ＣＡＤデータに反映させる。また、画像解析部２２が画像データから被写体を認識でき、制御部２５が認識された被写体の他の画像データ（横向きの画像データ）を収集できた場合には、データ作成部２４は、収集した画像データからその人物の寸法データ（例えば、被写体を横から見たときの厚み方向の寸法情報）を収集し、３Ｄ・ＣＡＤデータに反映させる。また、データ作成部２４は、３Ｄ・ＣＡＤデータに基づいて、３Ｄイメージを作成する。

なお、図２の画像データにおいては、被写体（人）の上半身しか写っていないため、データ作成部２４は、画像データに基づいて、画像データに映っている被写体の最下端部分を立体造形の基準とする。ただし、これに限らず、撮像日時や、環境（温度、気温）を示すメタデータ、及び収集した画像データから、被写体（人）の下半身の服装を推定できるような場合には、被写体の下半身を含む３Ｄ・ＣＡＤデータ及び３Ｄイメージを作成するようにしてもよい。この場合、データ作成部２４は、撮像日時や環境（温度、気温）を示すメタデータと近似するメタデータが付随している画像データを参照して、被写体（人）がどのようなズボンや靴を着用している可能性が高いかを推定すればよい。

更に、データ作成部２４は、画像データから背景部分を抽出し、背景部分のうち、被写体によって隠れている部分（図４の破線内部分）を他の画像データ（ステップＳ１４で収集した画像データ）を用いて補間するなどして、２Ｄデータを作成する。ここで、作成される２Ｄデータは、図５に示すようなデータとなる。

次いで、ステップＳ１８では、制御部２５は、ステップＳ１６で作成した３Ｄイメージ、２Ｄデータを通信部２１により撮像機器１０に送信する。この場合、撮像機器１０の制御部１９は、表示部１２上に、図６（ａ）に示すような修正用の画面を表示する。ここで、制御部２５は、ユーザに対して回答期限を設定し（例えば数日）、ステップＳ２０において、ユーザの回答（修正せずに、データを確定してよいのか、修正をする必要があるのかの回答）があるまで待機する。ユーザは、表示部１２上の各種アイコンを用いることで、全体のスケール、背景と被写体との相対的なスケール、奥行方向のスケール、高さ方向のスケール、配色などを修正することができる。また、ユーザは、不要な部分、例えば図６（ａ）のユーザの背後にある柵や植栽を選択して削除することもできるものとする。

なお、ユーザは、スケールの修正や柵や植栽の削除を行うことで、図６（ｂ）に示すようなデータの修正を回答したものとする。なお、修正の回答があった場合、撮像機器１０の制御部１９は、修正指示をサーバ２０の制御部２５に対して送信する。ユーザからの回答があった場合、制御部２５は、ステップＳ２２に移行する。なお、図６（ａ）、図６（ｂ）に示してある修正用の画面は、サーバ２０から撮像機器１０にダウンロードするようにすればよい。

なお、上記説明では、ユーザが図６（ａ）の画面上のアイコンを用いて修正を行う場合について説明したが、これに限らず、修正は、ユーザが３Ｄイメージ及び２Ｄデータを表示部１２にて確認しながら、サーバ２０からの質問に答える対話形式により行われることとしてもよい。

ステップＳ２２では、制御部２５は、修正有りの回答であったか否かを判断する。ここでの判断が肯定された場合には、ステップＳ１６に戻る。ステップＳ１６に戻った場合、制御部２５は、データ作成部２４を制御して、ユーザからの修正指示を３Ｄ・ＣＡＤデータ（３Ｄイメージ）及び２Ｄデータに反映させ、修正後の３Ｄイメージ及び２Ｄデータを撮像機器１０に送信し（Ｓ１８）、ユーザからの回答を待つ（Ｓ２０）。なお、データ作成部２４は、ユーザからの修正指示に、柵や植栽を削除する指示が含まれる場合には、柵や植栽の周辺の画素の色に基づいて、２Ｄデータを修正（柵や植栽を削除）すればよい。

一方、ステップＳ２２の判断が否定された場合には、制御部２５は、ステップＳ２４に移行する。ステップＳ２４では、制御部２５は、通信部２１を介して、３Ｄ・ＣＡＤデータおよび２Ｄデータを撮像機器１０に送信する。これにより、図３の全処理が終了する。

なお、撮像機器１０においては、３Ｄ・ＣＡＤデータおよび２Ｄデータを受け取ると、該データを記憶部１４に記憶する。そして、操作部１７を介してユーザから立体造形開始の指示が入力されると、制御部１９は、３Ｄ・ＣＡＤデータを通信部１８を介して立体造形装置３０に送信するとともに、２Ｄデータを通信部１８を介して印刷装置４０に送信する。

そして、３Ｄ・ＣＡＤデータを受信した立体造形装置３０の制御部３７は、３Ｄ・ＣＡＤデータに基づき、印刷部３３、テーブル部３２、第１、２駆動部３４，３５を制御して立体造形を作成する。また、２Ｄデータを受信した印刷装置４０の制御部４７は、２Ｄデータに基づき、印刷部４３、駆動部４４、紙送り部４２を制御して紙媒体に２Ｄデータを印刷する。

以上により、画像データに基づいて、図７に示すような立体造形と背景写真とを組み合わせた造形物を作成することが可能である。

なお、本実施形態においては、図８に示すような被写体が富士山や山中湖である画像データが、撮像機器１０からサーバ２０に送信されてくる場合もある。このような場合には、データ解析部２４は、画像データに付随するメタデータのうちＧＰＳモジュール１５によって検出された撮像場所を取得し、該撮像場所に基づいて、被写体の山や湖が富士山や山中湖であると特定する。また、ステップＳ１４では、制御部２５は、富士山や山中湖の基本的な３Ｄ・ＣＡＤデータ、山中湖や富士山に関連した画像（山中湖、富士山を複数方向から撮像した画像）、地図データ、スケールデータなどをデータ部２３から収集する。そして、ステップＳ１６では、データ作成部２４は、収集したデータや、ＧＰＳモジュール１５や方位センサ１６の検出結果などのメタデータに基づいて、３Ｄ・ＣＡＤデータを作成する。これにより、撮像場所及び撮像方向を基準として、富士山と山中湖の立体造形を作成することができる。この場合、ユーザが撮像した画像から立体的な模型（立体造形）を生成するのが目的であれば、大まかな３Ｄ・ＣＡＤデータが作成できればよい。なお、画像データを用いることで、富士山や山中湖の色や状況（雪景色など）を再現することができる。

なお、図８のような画像データの場合、メタデータに含まれる被写体の距離データにおいて、最も手前側に位置する柵や植栽が他よりも極端に近いため、データ作成部２４は、これら柵や植栽を３Ｄ・ＣＡＤデータ作成対象から除外するようにしてもよい。

以上、詳細に説明したように、本実施形態によると、制御部２５は、通信部２１を介して画像データ及びメタデータを取得するとともに、画像データ及びメタデータに基づき、３Ｄ・ＣＡＤデータを作成するための各種データを収集する。そして、データ作成部２４は、画像データ、メタデータ及び収集した各種データに基づき３Ｄ・ＣＡＤデータを作成する。このように、本実施形態では、画像データのみでは被写体の３Ｄ・ＣＡＤデータを作成するのが困難な場合であっても、メタデータや収集した各種データを用いることで、３Ｄ・ＣＡＤデータを作成することが可能となる。この場合、ユーザは、被写体を様々な方向から撮像したり、高価な３次元デジタイザなどを用意しなくてもよいため、簡易に立体造形を作成することができる。

また、本実施形態では、データ作成部２４は、画像データ及びメタデータと収集した各種データとの少なくとも一方に基づいて、立体造形を行わない部分を決定するので、被写体と背景のように、立体造形を行う部分（被写体）と立体造形を行わない部分（背景）を分けることで、画像データ内の遠近関係や縮尺の影響を考慮した適切な立体造形を行うことができる。

また、本実施形態では、メタデータに、撮像画像の撮像位置のデータ及び撮像方位のデータの少なくとも一方が含まれているので、データ作成部２４は、撮像画像の撮像位置のデータ及び撮像方位のデータの少なくとも一方に基づいて各種データを収集することで、背景部分の詳細な情報（山や湖の情報）を推定することができる。これにより、データ作成部２４は、推定した情報を３Ｄ・ＣＡＤデータや２Ｄデータの作成に利用することができる。

また、本実施形態では、制御部２５は、画像データにおいて認識された人が撮像された他の画像データを取得し、該他の画像データから特定可能な人物の寸法データ（例えば、認識された人を横から見たときの厚み方向の寸法情報）を収集する。これにより、より正確に人の立体造形を作成することが可能である。

また、本実施形態では、画像データから得られる色に関するデータを用いて、３Ｄ・ＣＡＤデータを作成するので、色彩が施された立体造形を作成することが可能である。

また、本実施形態では、データ作成部２４は、画像データに基づいて、立体造形の基準を決定しているので、画像データに対応した（再現した）立体造形を作成することができる。

なお、上記実施形態では、データ作成部２４は、被写体部分の３Ｄ・ＣＡＤデータを作成し、背景部分の２Ｄデータを作成する場合について説明したが、これに限らず、被写体部分の３Ｄ・ＣＡＤデータのみを作成することとしてもよい。この場合、背景部分の２Ｄデータを作成するか否かを撮像機器１０の表示部１２上でユーザに問い合わせることとしてもよい。

なお、上記実施形態では、データ作成部２４は、被写体部分と背景部分のうち被写体部分の３Ｄ・ＣＡＤデータを作成し、背景部分の２Ｄデータを作成する場合について説明したが、これに限られるものではない。例えば、データ作成部２４は、画像データとメタデータの少なくとも一方に基づいて特定部分（例えば、人の顔部分など）を抽出し、該特定部分の３Ｄ・ＣＡＤデータを作成し、その他を３Ｄ・ＣＡＤデータを作成しない部分として決定することとしてもよい。

なお、上記実施形態では、図３のステップＳ１４において、制御部２５が、３Ｄ・ＣＡＤデータ又は２Ｄデータを作成できるほどのデータを収集できない場合がある。このような場合には、制御部２５は、３Ｄ・ＣＡＤデータ又は２Ｄデータを作成するにあたり不足している情報をユーザに問い合わせるようにしてもよい。例えば、制御部２５が、図２の画像データから人の下半身を含む立体造形を作成するとした場合において、人がどのようなズボンや靴を着用していたかの情報を制御部２５が収集できなかったとする。このような場合には、制御部２５は、ユーザに対して、どのようなズボン及び靴を着用していたかを問い合わせるようにすればよい。また、画像データ中の人が女性の場合には、スカートを着用していたのか、ズボンを着用していたのかなどを問い合わせるようにすればよい。

なお、上記実施形態では、撮像機器１０とサーバ２０との間で通信を行い、画像データ及びメタデータのやり取りや、３Ｄ・ＣＡＤデータや２Ｄデータのやり取りを行う場合について説明した。しかしながら、これに限らず、例えば、画像データおよびメタデータのサーバ２０への送付は撮像機器１０で行う一方、サーバ２０からは、３Ｄ・ＣＡＤデータや２Ｄデータをパーソナルコンピュータや、タブレット型端末などの端末に送信し、該端末において修正作業等を行うようにしてもよい。さらに、画像データおよびメタデータを撮像機器１０からパーソナルコンピュータやタブレット型端末などの端末に転送し、該端末からサーバ２０へデータを送信するようにしてもよい。

また、パーソナルコンピュータやタブレット型端末などの端末にサーバ２０の機能の一部を実現可能なプログラムを実装することで、端末にサーバ２０の機能の一部を持たせ、端末にてサーバ２０の処理の一部を実行するようにしてもよい。

なお、上記実施形態では、撮像機器とサーバ２０間において無線通信を行う場合について説明したが、これに限らず、有線通信を行うこととしてもよい。また、撮像機器１０と立体造形装置３０及び印刷装置４０との間におけるデータの受け渡し方法としては、通信に限らず、可搬型記憶媒体（ＳＤカードなど）を用いたデータの受け渡し方法を採用してもよい。

なお、上記実施形態では、撮像機器１０が姿勢センサを有している場合には、該姿勢センサの検出結果を３Ｄ・ＣＡＤデータや２Ｄデータ作成に利用することとしてもよい。例えば、撮像機器１０が下向きの状態で撮像された場合には、ジオラマや模型を作成する可能性が高いと判断できるので、データ作成部２４は、画像データ中の全ての部分を立体造形の対象とするなど判断してもよい。

なお、ユーザは、立体造形装置３０や印刷装置４０を保有していない場合もある。このような場合には、サーバ２０側（業者側）が保有する立体造形装置３０において立体造形及び印刷を実行するようにしてもよい。この場合、完成した立体造形及び印刷された紙媒体を業者側からユーザに対して配達するようにしてもよい。

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

２０ サーバ
２４ データ作成部
２５ 制御部

Claims (1)

1. 撮像に関する第１データを取得する取得部と、
   前記取得部が取得した前記第１データに基づき、立体データを作成するための第２データを収集する収集部と、
   前記第１、第２データに基づき立体造形の第３データを作成する作成部と、を備えたことを特徴とする電子機器。

Images