JP2017027520A - ３ｄデータ生成装置及び方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】距離情報を持つ複数の画像を一枚の画像上にインデックス状にレイアウトし、３Ｄインデックスプリントを行うことを可能にする３Ｄデータ生成装置を提供する。【解決手段】複数の画像と、複数の画像における被写体の奥行き方向の距離に対応する距離情報を取得する取得部と、複数の画像を１つの３Ｄデータとするためのレイアウトを決定する決定部と、決定部で決定されたレイアウトで複数の画像を合成する合成部と、を備え、決定部は、複数の画像のうちの各画像の距離情報を所定の基準に基づいて変換して、３Ｄデータにおける各画像の距離情報とする。【選択図】 図５

Description

本発明は、静止画像から３Ｄインデックスプリントデータを生成する装置に関するものである。

従来より実際の物体に対して形状のスキャンを行い、３Ｄ形状データを取得する技術が知られている。例えば、レーザー光の反射光を用いて対象物体の測定点の距離情報を算出することにより物体の３Ｄ形状データを取得する方法、複数の撮像部を視差を持つように配置し、撮像部からの視差画像データから物体の３Ｄ形状データを算出する方法などがある。さらに、像面位相差センサ等の特殊な撮像センサを用いて、撮像画像の各画素エリアに対して距離情報を取得して３Ｄ形状データを作る方法もある。例えば、特許文献１には、レーザーによる測距と画像撮影結果とを組み合わせて、実際の物体から効果的に３Ｄ形状データを取得する方法が開示されている。

また、３ＤＣＡＤなどの３Ｄ形状データから、樹脂や金属の材料を溶融し積層させていく造形方法や、光で硬化する材料からレーザー光を用いた造形方法で３Ｄ形状物体を作製する３Ｄプリンタが産業分野だけでなく一般家庭にも普及しつつある。例えば、特許文献２には、硬化性インクをレイア状に印刷し、任意の立体的な物体を造形する方法が開示されている。

また、画像一覧管理や観賞用を目的として、撮影した複数の画像の全てまたは代表的な画像を１枚の画像上に縦横などにレイアウトし、印画紙などにプリントするインデックスプリントの方法について数多く提案されている。特許文献３では、撮影コマ数に応じた１枚の合成画像を生成しプリントする方法が開示されている。

特開２００４−０３７３９６号公報 特開２００１−３０１２６７号公報 特許第３１０４９４０号公報

しかしながら、上記の特許文献では、複数の画像データをインデックス状にレイアウトし且つ３Ｄプリントする３Ｄインデックスプリントに関してはまだ提案されていない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、距離情報を持つ複数の画像を一枚の画像上にインデックス状にレイアウトし、３Ｄインデックスプリントを行うことを可能にする３Ｄデータ生成装置を提供することである。

本発明に係わる３Ｄデータ生成装置は、複数の画像と、該複数の画像における被写体の奥行き方向の距離に対応する距離情報を取得する取得手段と、前記複数の画像を１つの３Ｄデータとするためのレイアウトを決定する決定手段と、前記決定手段で決定されたレイアウトで前記複数の画像を合成する合成手段と、を備え、前記決定手段は、前記複数の画像のうちの各画像の前記距離情報を所定の基準に基づいて変換して、前記３Ｄデータにおける各画像の距離情報とすることを特徴とする。

また、本発明に係わる３Ｄデータ生成装置は、被写体の奥行き方向の距離に対応する距離情報を持つ複数の画像から特定の被写体を含む被写体領域を抽出する抽出手段と、前記抽出手段により抽出された複数の被写体領域の画像を１つの３Ｄデータとするためのレイアウトを決定する決定手段と、前記決定手段で決定されたレイアウトで前記複数の被写体領域の画像を合成する合成手段と、を備え、前記決定手段は、前記複数の被写体領域のうちの各被写体領域の画像の前記距離情報を所定の基準に基づいて変換して、前記３Ｄデータにおける各画像の距離情報とすることを特徴とする。

本発明によれば、距離情報を持つ複数の画像を一枚の画像上にインデックス状にレイアウトし、３Ｄインデックスプリントを行うことを可能にする３Ｄデータ生成装置を提供することができる。

本発明の実施形態における撮像装置の内部構成を示すブロック図。 撮像素子とマイクロレンズアレイの構成を説明する図。 撮影レンズ、マイクロレンズアレイ、撮像素子の構成を説明する図。 撮影レンズの瞳領域と受光画素の対応関係を説明する図。 第１の実施形態における３Ｄプリントデータを生成する処理を説明するフローチャート。 第１の実施形態における３Ｄプリント造形物の例を示す図。 第１の実施形態におけるレイアウト選択用表示画像の例を示す図。 第１の実施形態における各画像での被写体の距離関係を示す図。 第２の実施形態における３Ｄプリントデータを生成する処理を説明するフローチャート。 第２の実施形態における３Ｄプリント造形物の例を示す図。 第２の実施形態における特定被写体指定用表示画像の例を示す図。 第２の実施形態における特定被写体の抽出方法を説明する図。 第２の実施形態におけるレイアウト選択用表示画像の例を示す図。 第２の実施形態における被写体の距離関係と被写体の大きさを示す図。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。まず、本発明の各実施形態に共通する構成について説明する。図１は、本発明の３Ｄデータ生成装置の実施形態である撮像装置１００の構成例を示すブロック図である。

図１において、撮像部１０１は複数の光学系とそれに対応する複数の撮像素子によって構成されるものと単一の光学系とそれに対応する単一の撮像素子によって構成されるものとがある。例えば２つの光学系とそれに対応する２つの撮像素子から構成されるものは、２視点から得られる視差情報から３Ｄ形状データを算出することができる。また、１つの光学系とそれに対応する１つの撮像素子で構成されるものは、撮像素子が画素ごとに被写体距離情報を得られる構成を有しており、２次元画像データの生成と３Ｄ形状データの算出を同時に行うことができる。

ここで、上記の１つの光学系とそれに対応する１つの撮像素子で構成され、被写体距離情報を取得できる撮像部１０１の一例について説明する。図２は、撮像部１０１に用いられる撮像素子２０３およびその前面に配置されるマイクロレンズアレイ２０２を撮影光学系の光軸方向から観察した図である。複数の光電変換部２０１に対して１つのマイクロレンズ１０２０が対応するように配置されている。

１つのマイクロレンズ後方にある複数の光電変換部２０１をまとめて単位画素２０と定義する。なお、本実施形態では単位画素２０には、光電変換部２０１が５行５列の計２５個、さらに撮像素子２０３には単位画素２０が５行５列の２５個配置されているものとする。

図３は、撮影光学系３０１から出射された光が１つのマイクロレンズ１０２０を通過して撮像素子２０３で受光される様子を光軸に対して垂直方向から観察した図である。撮影光学系３０１の各瞳領域ａ１〜ａ５から出射され、マイクロレンズ１０２０を通過した光は、後方の対応する光電変換部ｐ１〜ｐ５にそれぞれ結像される。

図４（ａ）は撮影光学系３０１の開口を光軸方向から見た図である。図４（ｂ）は１つのマイクロレンズ１０２０とその後方に配置された単位画素２０を光軸方向から見た図である。図４（ａ）に示すように撮影光学系３０１の瞳領域を１つのマイクロレンズ後方にある光電変換部と同数の領域に分割した場合、１つの光電変換部には撮影光学系３０１の１つの瞳分割領域から出射した光が結像されることになる。ただし、ここでは撮影光学系３０１とマイクロレンズ１０２０のＦナンバーがほぼ一致しているものとする。

図４（ａ）に示す撮影光学系３０１の瞳分割領域ａ１１〜ａ５５と、図４（ｂ）に示す光電変換部ｐ１１〜ｐ５５との対応関係は光軸方向から見て点対称となる。したがって、撮影光学系３０１の瞳分割領域ａ１１から出射した光はマイクロレンズ後方にある単位画素２０のうちの、光電変換部ｐ１１に結像される。これと同様に、瞳分割領域ａ１１から出射し、別のマイクロレンズ１０２０を通過する光も、そのマイクロレンズ後方にある単位画素２０の中の光電変換部ｐ１１に結像される。

ここで、画面内（画像中）の任意の被写体位置に対応した焦点位置を算出する方法について説明する。図４で説明したように、単位画素２０の各光電変換部は、撮影光学系３０１に対して互いに異なる瞳領域を通過した光を受光している。これらの分割信号から複数の光電変換部の信号を合成することで、水平方向に瞳分割された一対の信号を生成する。

式（１）は、ある単位画素２０の各光電変換部について、撮影レンズ１０１の射出瞳の左側領域（瞳領域ａ１１〜ａ５１、ａ１２〜ａ５２）を通過した光を積分したものである。これを水平方向に並ぶ複数の単位画素２０に適用し、これらの出力信号群で構成した被写体像をＡ像とする。また、式（２）は、ある単位画素２０の各光電変換部について、撮影レンズ１０１の射出瞳の右側領域（瞳領域ａ１４〜ａ５４、ａ１５〜ａ５５）を通過した光を積分したものである。これを水平方向に並ぶ複数の単位画素２０に適用し、これらの出力信号群で構成した被写体像をＢ像とする。Ａ像とＢ像に対して相関演算を行い、像のずれ量（瞳分割位相差）を検出する。さらに、像のずれ量に対して撮影レンズ１０１の焦点位置と光学系から決まる変換係数を乗じることで、画面内の任意の被写体位置に対応した焦点位置を算出することができる。また、この焦点位置から被写体距離を算出することもできる。なお、上記では、複数の単位画素２０について左側領域の信号を積分したものをＡ像、右側領域の信号を積分したものをＢ像として説明したが、複数の単位画素２０について積分せずに、単位画素２０の信号をそれぞれ単独で用いても、同様の効果が得られる。また、上記の構成によれば、被写体の距離マップやデフォーカス量のマップを画面全体について算出することも可能であり、被写体の距離情報は、これらの情報を含む被写体の奥行き方向の距離に対応する情報である。以上により、撮像画面における被写体距離情報を取得することができる。

図１の説明に戻り、表示部１０２はＬＣＤ等の表示器からなり、撮像部１０１からの画像のスルー表示、既に撮像した画像についての情報、撮像画像等の表示をすることができる。表示操作部１０３は、表示部１０２の上に配置されたタッチパネルなどで構成され、使用者が指などで触れることを検知し、その検知情報を、バス１１１を介して、操作のための情報としてＣＰＵ１０６に送る。物体検出部１０４は、撮像部１０１によって取得された画像データに対して物体検出処理を行う。物体検出処理は、画像内部の人物・物体などを検出し、それらの位置、大きさなどのデータを算出して、ＣＰＵ１０６に送る処理である。操作部１０５はユーザーからの指示を操作ボタン等で受け付ける。

演算装置（ＣＰＵ）１０６は撮像装置１００全体の動作を制御する。読出し専用メモリ（ＲＯＭ）１０７には、撮像装置１００の制御プログラム、制御に必要な情報等が予め記憶されており、ＣＰＵ１０６はこのＲＯＭ１０７に記憶された制御プログラム等に基づいて撮像装置１００を制御する。１次記憶装置（ＲＡＭ）１０８は、撮像装置１００の動作中に生じる各種のデータを一時的に保持することができる。着脱可能記録媒体（メモリカード）１０９は、ＲＡＭ１０８内に保持されている画像情報などのデータをバス１１１を通じて記録し保存することができる。

通信制御部１１０は、無線または有線によって外部の機器と接続し、映像信号や音声信号の送受信を行う。通信制御部１１０は無線ＬＡＮやインターネットとも接続可能である。通信制御部１１０は撮像部１０１で撮像した画像データや、メモリカード１０９に保存された画像データを送信可能であり、外部機器から画像データや各種情報を受信することができる。

次に、本発明の各実施形態について説明する。

（第１の実施形態）
以下、本発明の第１の実施形態における、撮像部１０１で取得された距離情報を持つ複数の画像を１枚の画像上にレイアウトした上で合成し、各画像の距離情報に基づいて厚みを決定した３Ｄプリントデータを生成する方法について説明する。図５は、本実施形態における３Ｄプリントデータを生成する処理の流れを示すフローチャートである。

なお、本実施形態の３Ｄプリントされたプリント物は、レリーフ（浮き彫り）形状を前提としている。例えば、図６のように例えば６枚の撮影画像を横３枚・縦２枚のインデックス状に配置し、それぞれの画像をレリーフ状に立体的にプリントする。

まず、ステップＳ２０１から処理を開始する。この時、すでに撮像装置１００の電源は投入されているものとする。次にステップＳ２０２では、前述の撮像部１０１により被写体の撮影を行い、画像と距離情報の取得を行う。これらの処理について説明する。

本実施形態では、既に図２〜図４を参照して説明したように、撮像部１０１に像面位相差検出機能が搭載されており、画素単位での距離情報取得が可能である。よって、任意のある位置から撮像処理を行うことにより、画像内の各画素に対する色データと各画素に対応する対象物体の表面部までの距離情報を取得することができる。このデータが、各画素に対して奥行き方向の距離を配置した点群データを取得するための生の３Ｄデータとなる。この３Ｄデータを含む画像データは、撮影後、ＣＰＵ１０６の指示によりＲＡＭ１０８に一時的に書込まれる。その後、ＣＰＵ１０６がＲＡＭ１０８から画像データを読出し、バス１１１を介してメモリカード１０９へ書込む。同様の撮影処理、画像と距離情報の取得処理を必要被写体分・必要枚数分行う。

次にステップＳ２０３において、ＣＰＵ１０６は、バス１１１を介して表示部１０２に指示を送り、使用する３Ｄプリント装置の縦・横・厚みのプリント可能サイズをユーザに入力させるための表示を行わせ、ステップＳ２０４へ処理を移す。ステップＳ２０４では、ＣＰＵ１０６は表示操作部１０３または操作部１０５においてプリント可能サイズの入力が確定したか否かを判別し、確定していればステップＳ２０５へ進み、確定していなければそのまま待機する。

ステップＳ２０５では、ＣＰＵ１０６はメモリカード１０９に書込まれている画像データをメモリ許容サイズ分だけＲＡＭ１０８へ読込む。そして、ＣＰＵ１０６はＲＡＭ１０８へ読込んだ画像データから１枚または複数枚の画像を同時に３Ｄプリント対象画像として選択することを促す表示画像を生成し、表示部１０２へ送り、ステップＳ２０６へ処理を移す。

ステップＳ２０６では、ＣＰＵ１０６は表示操作部１０３または操作部１０５において３Ｄプリント対象画像の選択が確定したか否かを判別し、確定していればステップＳ２０７へ進み、確定していなければそのまま待機する。

ステップＳ２０７では、ＣＰＵ１０６はステップＳ２０６で選択された画像データの枚数に応じて１つの３Ｄプリントデータとするためのレイアウトの選択を促すレイアウト選択用画像を生成する。図７はレイアウト選択用画像として表示する一つの画像を示しており、６枚の画像をインデックス状に横３枚・縦２枚として一つの画面に配置する例を示している。他には、横２枚・縦３枚／横６枚・縦１枚／横１枚・縦６枚などのレイアウトが考えられる。また他には特定の画像を主プリント画像とし、それ以外を副プリント画像とし、主プリント画像サイズは大きく、副プリント画像は主プリント画像よりも小さくして、主プリント画像の周りに副プリント画像を配置するレイアウトなども考えられる。ＣＰＵ１０６はこれらのレイアウト選択用画像を表示部１０２へ送り、ステップＳ２０８へ処理を移す。

ステップＳ２０８では、ＣＰＵ１０６は表示操作部１０３または操作部１０５において３Ｄプリントデータとするためのレイアウト選択が確定したか否かの判別を行い、確定していればステップＳ２０９へ進み、確定していなければそのまま待機する。

ステップＳ２０９では、ＣＰＵ１０６は決定したレイアウトに基づいて、３Ｄプリント可能縦横範囲内に収まるように各画像の縦横幅を実際のプリント幅に変換する。この時、プリント後の造形物体に違和感が生じないように、各画像の縦横比を維持した状態でプリント幅の変換率を決定する。次にプリント厚みが３Ｄプリントが可能な厚み以内に収まるように、すなわち出力を想定している３Ｄプリンタのプリント可能な厚みに基づく所定の基準に基づいて各画像の被写体までの距離情報を正規化する。

図８の４０１〜４０６は、図７の画像３０１〜３０６における撮像装置１００と各被写体との距離関係を示している。例えば４０２では、撮像装置１００から奥行方向に被写体３０８の撮像装置１００側に最も近い位置から被写体３１０の距離情報が取得できる境界部（被写体３１０の輪郭部分）までの範囲をプリントしたい。このとき上述した範囲がプリント可能厚みに収まるように、各被写体までの距離情報を正規化しプリント厚みを決定する。続いて、ＣＰＵ１０６は各画像同士の隣接する境界部が接する部分全てにおいて合成処理を施し、１枚の３Ｄ画像データの生成を行う。

ステップＳ２１０では、ＣＰＵ１０６は３Ｄ画像データに基づいて３Ｄプリントデータを生成し、そのデータをバス１１１を介してメモリカード１０９に書込み、一連の処理を終了する。ここでの３Ｄプリントデータは、例えばＳＴＬ形式データ、ＶＲＭＬ形式データなどで記述された３Ｄプリント装置で利用可能な形状のデータファイルである。本実施形態の主眼は、距離情報を持つ複数の画像から３Ｄインデックスプリントデータを生成する方法であるので、最終的な出力ファイル形式には制約はない。

以上のように、本実施形態では、距離情報を持つ複数枚の画像を１枚の画像上にレイアウトした後に合成することで、各画像の距離情報に基づいて厚みを決定した３Ｄインデックスプリントデータを生成することができる。

また本実施形態では、各画像のプリント厚みを各画像の距離情報に基づいてプリント可能な厚みに収まるように正規化した。しかし、全ての被写体を存在する絶対的な距離に配置し、すべての被写体がプリント可能厚みに収まるように正規化して、各画像のプリント厚みを決定してもよい。

（第２の実施形態）
以下、本発明の第２の実施形態における、複数の画像から特定の被写体を含む画像を抽出し１枚の画像上にレイアウトした上で合成し、特定の被写体の距離情報と大きさに基づいて厚みを決定した３Ｄプリントデータを生成する方法について説明する。図９は、本実施形態における３Ｄプリントデータを生成する処理の流れを示すフローチャートである。 なお、本実施形態の３Ｄプリントされたプリント物は、レリーフ（浮き彫り）形状を前提としている。例えば、図１０のように、特定の被写体を含んだ領域を抽出した３枚の画像を横３枚に配置し、それぞれの画像をレリーフ状に立体的にプリントする。

図９において、ステップＳ５０１からステップＳ５０４までの処理は、第１の実施形態のステップＳ２０１からステップＳ２０４までの処理と同様であるので、説明を省略する。

ステップＳ５０５では、ＣＰＵ１０６はメモリカード１０９に書込まれている画像データをメモリ許容サイズ分だけＲＡＭ１０８へ読込む。物体検出部１０４はＲＡＭ１０８へ読込んだ画像データの１枚ずつについて、画像データ内に存在する物体を検出する。ＣＰＵ１０６は画像データ上に物体検出部１０４で検出された物体検出結果を重畳させた特定被写体指定用画像を生成する。ＣＰＵ１０６はこの特定被写体指定用画像を表示部１０２へ送り、ステップＳ５０６へ処理を移す。例えば図１１では、画像６０１内の被写体６０２が物体検出部１０４で検出され、検出された被写体（物体）の輪郭部を破線で表現した表示用画像としている。ユーザーは、表示操作部１０３または操作部１０５の操作によって、ＲＡＭ１０８内の画像から生成された特定被写体指定用画像を順次表示させる。そして、表示部１０２に表示された特定被写体画像内の検出された被写体の指定をする。本実施形態では、被写体６０２を特定被写体として指定する。

ステップＳ５０６では、ＣＰＵ１０６は表示操作部１０３または操作部１０５において各画像から抽出する特定被写体の指定が確定したか否かの判別を行い、確定していればステップＳ５０７へ進み、確定していなければそのまま待機する。

ステップＳ５０７では、物体検出部１０４はＳ５０６で確定された特定被写体指定結果に基づいて、撮影された複数の画像データから特定被写体６０２を含む画像データを選択し、画像データ内の特定被写体領域を検出する。ＣＰＵ１０６はメモリカード１０９から検出された特定被写体領域を含む画像を抽出し、バス１１１を介してＲＡＭ１０８へ書込む。

ここで、図１２を参照して、特定被写体を含む画像データを選択し、特定被写体を含む領域を抽出する手順について説明する。画像７０１から７０６はメモリカード１０９内に保存されている。物体検出部１０４によって画像７０１から７０６のなかで特定被写体６０２を含む画像が選択され、特定被写体領域７０７，７１１，７１４（特定被写体領域７０７，７１１，７１４は特定被写体６０２を含んでいる）の検出が行われる。次に特定被写体領域７０７，７１１，７１４を含む領域画像の抽出を行う。図１２では、上下方向は画像縦幅すべて、横方向は特定被写体領域から画素を若干残した形で特定被写体抽出画像７１８，７１９，７２０として抽出している。抽出方法に関しては、特定被写体領域を完全に輪郭で抽出することも考えられ、また前景・背景などが入る場合も考えられ、それらを含んだ形で抽出することも考えられる。

ステップＳ５０８では、ＣＰＵ１０６はステップＳ５０７で抽出された画像データに応じて１つの３Ｄプリントデータとするためのレイアウトの選択を促すレイアウト選択用画像を生成する。図１３はレイアウト選択用画像として表示する一つの画像を示しており、３枚の抽出画像をインデックス状に横一列に一つの画面に配置する例を示している。他には、縦１列や順番を入れ替えたものも考えられ、また、抽出した画像の縦横の大きさに差がある場合などに各画像に対して拡大縮小を施し配置するといったことも考えられる。ＣＰＵ１０６はこれらのレイアウト選択用画像を表示部１０２へ送り、ステップＳ５０９へ処理を移す。

ステップＳ５０９では、ＣＰＵ１０６は表示操作部１０３または操作部１０５において３Ｄプリントデータとするためのレイアウト選択が確定したか否かの判別を行い、確定していればステップＳ５１０へ進み、確定していなければそのまま待機する。

ステップＳ５１０では、ＣＰＵ１０６はステップＳ５０９で決定したレイアウトに基づいて、３Ｄプリント可能縦横範囲内に収まるように各画像の縦横幅を実際のプリント幅に変換する。この時、プリント後の造形物体に違和感が生じないように、各画像の縦横比を維持した状態でプリント幅の変換率を決定する。次にプリント厚みが３Ｄプリント可能な厚み以内に収まるように、各画像の特定被写体までの距離情報と大きさに基づいて厚みを決定する。

図１４の９０１から９０３は、撮像装置１００と特定被写体６０２との距離関係を示している。また図１４の９０４から９０６は、特定被写体６０２を含む２次元画像データ内での被写体の大きさを示している。例えば９０１では、撮像部１００から奥行方向に被写体６０２までの距離情報が取得できる。また９０４では２次元画像内の特定被写体領域が占める割合、もしくは特定被写体領域の縦横最大画素数を特定被写体の大きさの情報とする。この２つの情報に基づいてプリント厚みを決定する。例えば９０１，９０４の場合、特定被写体６０２が近距離にあり、且つ画像７０１での被写体６０２（７０７）が占める割合が大きいため、プリント厚みを厚くなるように厚みを決定する。逆に、９０３，９０６の場合、被写体６０２は撮像装置１００から離れており、且つ画像７０３での被写体６０２（７１１）が占める割合が小さいため、プリント厚みが薄くなるように厚みを決定する。続いて、ＣＰＵ１０６は各画像同士の隣接する境界部が接する部分全てにおいて合成処理を施し、１枚の３Ｄ画像データの生成を行う。

ステップＳ５１１では、ＣＰＵ１０６は３Ｄ画像データに基づいて３Ｄプリントデータを生成し、そのデータをバス１１１を介してメモリカード１０９に書込み、一連の処理を終了する。ここでの３Ｄプリントデータは、第１の実施形態と同様、本実施形態の主眼が、距離情報を持つ複数の画像から３Ｄインデックスプリントデータを生成する方法であるため、最終的な出力ファイル形式には制約はない。

以上のように、本実施形態では、複数枚の画像の中から特定の被写体を含む領域を抽出し、抽出した画像を１枚の画像上にレイアウトした後に合成する。これにより、特定被写体の距離情報と大きさに基づいて厚みを決定した３Ｄインデックスプリントデータを生成することができる。

また本実施形態では、各画像のプリント厚みを特定被写体の距離情報と大きさに基づいてプリント可能な厚みに収まるように正規化した。しかし、特定被写体を存在する絶対的な距離に配置し、特定被写体がプリント可能厚みに収まるように正規化して、各画像のプリント厚みを決定してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置、１０１：撮像部、１０２：表示部、１０３：表示操作部、１０４：物体検出部、１０５：操作部、１０６：演算装置（ＣＰＵ）、１０７：読出し専用メモリ（ＲＯＭ）、１０８：一次記憶装置（ＲＡＭ）、１０９：着脱可能記憶媒体（メモリカード）、１１０：通信制御部

Claims (16)

1. 複数の画像と、該複数の画像における被写体の奥行き方向の距離に対応する距離情報を取得する取得手段と、
   前記複数の画像を１つの３Ｄデータとするためのレイアウトを決定する決定手段と、
   前記決定手段で決定されたレイアウトで前記複数の画像を合成する合成手段と、を備え、
   前記決定手段は、前記複数の画像のうちの各画像の前記距離情報を所定の基準に基づいて変換して、前記３Ｄデータにおける各画像の距離情報とすることを特徴とする３Ｄデータ生成装置。
2. 前記所定の基準とは、前記３Ｄデータに基づいてプリントを行うプリント装置でプリント可能な厚みであることを特徴とする請求項１に記載の３Ｄデータ生成装置。
3. 前記３Ｄデータにおける各画像の距離情報とは、前記３Ｄデータにおける厚みの情報であり、前記決定手段は、前記複数の画像のうちの各画像の前記距離情報を所定の距離で正規化して、前記３Ｄデータにおける厚みの情報に変換することを特徴とする請求項１に記載の３Ｄデータ生成装置。
4. 前記３Ｄデータにおける各画像の距離情報とは、前記３Ｄデータにおける厚みの情報であり、前記決定手段は、前記複数の画像のうちの各画像の前記距離情報に基づく前記各画像の被写体が存在する絶対的な距離に応じて前記３Ｄデータにおける厚みを決定することを特徴とする請求項１に記載の３Ｄデータ生成装置。
5. 前記決定手段は、前記３Ｄデータにおける厚みを、前記３Ｄデータに基づいてプリントを行うプリント装置でプリント可能な厚み以内となるように決定することを特徴とする請求項３または４に記載の３Ｄデータ生成装置。
6. 前記決定手段は、前記３Ｄデータにおける各画像の縦と横の幅を、前記３Ｄデータに基づいてプリントを行うプリント装置でプリント可能な範囲内となるように決定することを特徴とする請求項１に記載の３Ｄデータ生成装置。
7. 被写体の奥行き方向の距離に対応する距離情報を持つ複数の画像から特定の被写体を含む被写体領域を抽出する抽出手段と、
   前記抽出手段により抽出された複数の被写体領域の画像を１つの３Ｄデータとするためのレイアウトを決定する決定手段と、
   前記決定手段で決定されたレイアウトで前記複数の被写体領域の画像を合成する合成手段と、を備え、
   前記決定手段は、前記複数の被写体領域のうちの各被写体領域の画像の前記距離情報を所定の基準に基づいて変換して、前記３Ｄデータにおける各画像の距離情報とすることを特徴とする３Ｄデータ生成装置。
8. 前記所定の基準とは、前記３Ｄデータに基づいてプリントを行うプリント装置でプリント可能な厚みであることを特徴とする請求項７に記載の３Ｄデータ生成装置。
9. 前記３Ｄデータにおける各画像の距離情報とは、前記３Ｄデータにおける厚みの情報であり、前記決定手段は、前記複数の被写体領域のうちの各被写体領域の画像における特定の被写体の距離情報と大きさとに基づいて前記３Ｄデータにおける厚みを決定することを特徴とする請求項７に記載の３Ｄデータ生成装置。
10. 前記３Ｄデータにおける各画像の距離情報とは、前記３Ｄデータにおける厚みの情報であり、前記決定手段は、前記複数の被写体領域のうちの各被写体領域の画像における特定の被写体の存在する絶対的な距離に応じて前記３Ｄデータにおける厚みを決定することを特徴とする請求項７に記載の３Ｄデータ生成装置。
11. 前記決定手段は、前記３Ｄデータにおける厚みを、前記３Ｄデータに基づいてプリントを行うプリント装置でプリント可能な厚み以内となるように決定することを特徴とする請求項９または１０に記載の３Ｄデータ生成装置。
12. 前記決定手段は、前記３Ｄデータにおける各画像の縦と横の幅を、前記３Ｄデータに基づいてプリントを行うプリント装置でプリント可能な範囲内となるように決定することを特徴とする請求項７に記載の３Ｄデータ生成装置。
13. 複数の画像と、該複数の画像における被写体の奥行き方向の距離に対応する距離情報を取得する取得工程と、
    前記複数の画像を１つの３Ｄデータとするためのレイアウトを決定する決定工程と、
    前記決定工程で決定されたレイアウトで前記複数の画像を合成する合成工程と、を有し、
    前記決定工程では、前記複数の画像のうちの各画像の前記距離情報を所定の基準に基づいて変換して、前記３Ｄデータにおける各画像の距離情報とすることを特徴とする３Ｄデータ生成方法。
14. 被写体の奥行き方向の距離に対応する距離情報を持つ複数の画像から特定の被写体を含む被写体領域を抽出する抽出工程と、
    前記抽出工程により抽出された複数の被写体領域の画像を１つの３Ｄデータとするためのレイアウトを決定する決定工程と、
    前記決定工程で決定されたレイアウトで前記複数の被写体領域の画像を合成する合成工程と、を備え、
    前記決定工程では、前記複数の被写体領域のうちの各被写体領域の画像の前記距離情報を所定の基準に基づいて変換して、前記３Ｄデータにおける各画像の距離情報とすることを特徴とする３Ｄデータ生成方法。
15. 請求項１３または１４に記載の３Ｄデータ生成方法の各工程をコンピュータに実行させるためのプログラム。
16. 請求項１３または１４に記載の３Ｄデータ生成方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images