JP2012191575A - 撮像装置および撮像方法、ならびに、撮像システム - Google Patents

Abstract

【課題】ユーザが想定している出力範囲を必ず含む立体画像を合成することができる撮像装置および撮像方法、ならびに、撮像システムを提供する。
【解決手段】撮像装置は、２つ以上の異なる視点で被写体を撮影して、立体画像を合成するための視差のある右視点画像および左視点画像、もしくは複数視点画像を取得するものであって、撮影時の撮影画像を表示する表示手段と、ユーザにより表示手段に表示された撮影画像を参照して指定される、立体画像に出力したい必須出力領域を入力するための入力手段と、必須出力領域、および、立体画像を合成する時の右視点画像と左視点画像との間、もしくは前記複数視点画像の間の視差量に応じて立体画像に出力することができない合成不可領域を、撮影画像に表示させる制御手段とを備える。
【選択図】図１

Description

本発明は、２つ以上の異なる視点で被写体を撮影して、立体画像を合成するための視差のある右視点画像および左視点画像、もしくは複数視点画像を取得する撮像装置および撮像方法、ならびに、撮像システムに関するものである。

人間は、左右の目で異なる角度および異なる距離から被写体を見ることにより、被写体の立体感を認識することが知られている。このとき、被写体の左右の目における見え方の違いを視差といい、視差の程度を視差量（ずれ量）という。

人間が立体感を認識する原理を利用して、視差のある２枚の平面画像を立体的な画像（立体画像）として人間に認識させる方法が従来から提案されている。例えば、左右２つの視点で異なる角度から同一の被写体を撮影して視差のある右視点画像および左視点画像を取得し、右視点画像を右目に、左視点画像を左目に表示させることにより、人間は、これら２枚の平面画像を１枚の立体画像として認識する。

人間は視差の程度により立体感を認識するため、右視点画像と左視点画像を左右方向に物理的にずらして視差量を調整することにより、立体画像における立体感（飛び出し量）を調節することができる。

また、視差量は立体画像の表示サイズに依存し、表示サイズを大きくすると右視点画像と左視点画像との間の視差量が増え、飛び出し量が大きくなることが知られている。さらに、立体画像は、右視点画像と左視点画像の重ね合わせによって表現されるため、視差量を変化させると重ね合わせ部分の範囲が変化し、立体画像として表示することができる範囲が変わることも知られている。

人間の両目の間の距離（間隔）は平均約６５ｍｍであり、従来の立体撮影では、これがレンズ間の最適距離であるとされてきた。これに対し、本出願人は、非特許文献１に示す立体カメラ（３Ｄデジタルカメラ）において、右視点画像用および左視点画像用の２つのレンズの距離を約２０％広く取ることにより、人間の目よりも立体感をやや強調している。また、自動／手動に切換ができる視差調整機能を搭載することにより、距離によらず自然な立体画像の撮影・鑑賞を可能にしている。

人間が立体感を感じるのは、左目と右目で物を見る角度や距離が異なることから生じる「両目視差」によると言われている。上記の立体カメラの液晶モニタには、例えば、「ライトディレクションコントロールシステム」や「パララックスバリアシステム」という本出願人が独自に開発した立体画像表示技術を採用している。これらの技術では、左目・右目に届く光の方向を高精度に制御し、両目にそれぞれ別の画像を投影することにより、裸眼のままで自然な立体感を得ることができる。

ここで、本発明に関連性のある先行技術文献として、特許文献１〜５がある。

特許文献１には、右視点画像の左右両サイドにマージン領域を付加しておき、右視点画像または左視点画像をスライドさせた場合でも、立体視画像の表示不可となる部分を発生することなく、立体視画像を適正に生成することが記載されている。

特許文献２には、複数の立体表示用画像から特定パターンを検出し、特定パターンの座標を検出し、複数の立体表示用画像に含まれる異なる２つの立体表示用画像である第１の画像および第２の画像の特定パターンの座標および画素数に基づいて視差量を算出し、視差量に基づいて、立体視に適した視差量に相当する第１の画像および第２の画像の組合せを判別することが記載されている。

特許文献３には、表示手段で表示された左眼用画像と右眼用画像とをそれぞれ同一のトリミング範囲でトリミングし、両者を合成して表示手段に３次元画像をズーム表示させることが記載されている。

特許文献４には、全体画像を表示した場合、全体画像とともに、全体画像中の左視点及び右視点の本画像の範囲を識別させるための表示や、全体画像中の立体画像の範囲を識別させるための表示を行うことが記載されている。

特許文献５には、２次元画像から立体視画像を作成する場合に、原稿と記録紙のそれぞれの大きさ、変倍率及びずらし量の関係により原稿の一部が記録紙をはみ出して記録できない場合には、その旨を表示することが記載されている。

特許第４４４２１９０号公報 特開２００８−１７２３４２号公報 特開２００６−３３２２８号公報 特開２００８−１６７０６６号公報 特開平９−１９１３９３号公報

「３Ｄデジタル映像システム」、［online］、富士フイルム株式会社、［平成２３年 １月２０日検索］、インターネット〈URL：http://fujifilm.jp/personal/3d/index.html〉

立体カメラで撮影された立体画像は、立体画像の写真プリントを扱う取次店に設置されている注文受付装置（店頭受付機）、もしくは、インターネットのウェブページ等から注文の受付が行われ、立体画像の画像データ（立体画像データ）および注文情報等が、立体画像の写真プリントを作成するラボに送信される。そして、ラボにて、オペレータが右視点画像と左視点画像との間の視差量の調整をマニュアルで実施することによって、立体画像における飛び出し量が調整された写真プリントが作成される。

右視点画像および左視点画像から立体画像を合成する場合には、前述のように、両者を左右方向に物理的にシフトして視差量を調整することにより立体画像における飛び出し量を調整する。立体画像は、右視点画像と左視点画像とが重なり合う範囲で合成されるため、立体画像の写真プリントでは、視差量の調整の程度に応じて、ユーザが想定していたプリント範囲と、ユーザが実際に受け取った写真プリントにおけるプリント範囲とが異なる可能性があるという問題点があった。

本発明の目的は、ユーザが想定している出力範囲を必ず含む立体画像を合成することができる撮像装置および撮像方法、ならびに、撮像システムを提供することにある。

上記目的を達成するために、本発明は、２つ以上の異なる視点で被写体を撮影して、立体画像を合成するための視差のある右視点画像および左視点画像、もしくは複数視点画像を取得する撮像装置であって、
撮影時の撮影画像を表示する表示手段と、
ユーザにより前記表示手段に表示された撮影画像を参照して指定される、前記立体画像に出力したい必須出力領域を入力するための入力手段と、
前記必須出力領域、および、前記立体画像を合成する時の前記右視点画像と前記左視点画像との間、もしくは前記複数視点画像の間の視差量に応じて前記立体画像に出力することができない合成不可領域を、前記撮影画像に表示させる制御手段とを備えることを特徴とする撮像装置を提供するものである。

ここで、前記制御手段は、前記必須出力領域と前記合成不可領域とが重なり合う場合に、該必須出力領域と該合成不可領域とが重なり合わなくなる範囲まで、前記撮影画像および前記必須出力領域を同時に縮小する自動ズーム処理を行うものであることが好ましい。

さらに、前記撮影画像に含まれる人物の顔領域を検出する顔検出手段を備え、
前記制御手段は、前記顔領域を前記必須出力領域として設定して前記自動ズーム処理を行うものであることが好ましい。

また、前記制御手段は、前記必須出力領域と前記合成不可領域とが重なり合っておらず、かつ、前記入力手段を介して入力される指示に従って、前記撮影画像を拡大するズーム処理を行う場合に、前記必須出力領域と前記合成不可領域とが重なり合わない範囲で、前記撮影画像および前記必須出力領域を同時に拡大するものであることが好ましい。

また、前記制御手段は、前記出力領域と前記合成不可領域とが重なり合う範囲まで前記撮影画像を拡大しようとした場合に、警告を発するものであることが好ましい。

また、前記制御手段は、前記必須出力領域と前記合成不可領域とが重なり合う場合に、該必須出力領域と該合成不可領域とが重なり合わなくなる範囲まで、当該撮像装置を左方向ないし右方向に移動させることを促す警告を発するものであることが好ましい。

さらに、前記必須出力領域の視差量が立体視に適しているかどうかをチェックする視差量チェック手段を備え、
前記制御手段は、前記チェックの結果から、前記必須出力領域の視差量が立体視に適していない場合に、該必須出力領域が立体視に適した視差量となる距離まで前記被写体に近づくことを促す警告を発するものであることが好ましい。

さらに、前記撮影画像に含まれる人物の顔領域を検出する顔検出手段を備え、
前記制御手段は、前記顔領域に含まれる人物の顔の大きさから該人物までの撮影距離を計算し、該人物までの撮影距離が前記所定の距離よりも大きい場合に、該所定の距離となるまで該人物に近づくことを促す警告を発するものであることが好ましい。

また、前記顔検出手段は、前記必須出力領域に含まれる人物の顔領域を検出し、
前記制御手段は、前記必須出力領域に含まれる人物までの撮影距離を計算するものであることが好ましい。

また、前記制御手段は、前記撮影画像に含まれる人物の位置および該人物までの撮影距離に基づいて、該人物を含む領域を前記必須出力領域として設定して前記撮影画像に表示させるものであることが好ましい。

さらに、前記右視点画像および左視点画像、もしくは複数視点画像から、該右視点画像および左視点画像、もしくは複数視点画像の対応画素の視差を表す視差マップを生成する視差マップ生成手段を備え、
前記制御手段は、前記視差マップを前記視差に応じて前記表示手段に疑似カラー表示もしくはグレースケール表示させ、前記顔領域に基づいて、前記撮影画像に含まれる人物を検出し、該人物を含む領域を前記必須出力領域として設定して前記表示手段に表示された視差マップに表示させるものであることが好ましい。

また、前記制御手段は、前記撮影画像に含まれる被写体との間の撮影距離が所定の距離よりも大きく、該被写体を拡大するズーム処理が行われている場合に、該被写体に近づくことを促す警告を発し、前記撮影距離が前記所定の距離以下となるまで、該撮影距離が近づくにつれて大きくなる前記被写体を縮小する自動ズーム処理を行うものであることが好ましい。

また、前記制御手段は、前記撮影画像に含まれる被写体との間の撮影距離が所定の距離以下である場合に、前記自動ズーム処理を行うものであることが好ましい。

また、本発明は、上記のいずれかに記載の第１および第２の撮像装置を備え、
前記第１の撮像装置は、さらに、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を出力する出力手段を備え、
前記第２の撮像装置は、さらに、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を受け取るための受取手段を備え、
前記第２の撮像装置の受取手段は、前記第１の画像処理装置から出力される右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を受け取るものであることを特徴とする撮像システムを提供する。

ここで、前記第２の撮像装置の制御手段は、前記第１の撮像装置から受け取った必須出力領域を、該第２の撮像装置の表示手段に表示された撮影画像に表示させるものであることが好ましい。

また、本発明は、２つ以上の異なる視点で被写体を撮影して、立体画像を合成するための視差のある右視点画像および左視点画像、もしくは複数視点画像を取得する撮像方法であって、
撮影時の撮影画像を表示手段に表示し、
ユーザにより前記表示手段に表示された撮影画像を参照して指定される、前記立体画像に出力したい必須出力領域を入力手段を介して入力し、
制御手段により、前記必須出力領域、および、前記立体画像を合成する時の前記右視点画像と前記左視点画像との間、もしくは前記複数視点画像の間の視差量に応じて前記立体画像に出力することができない合成不可領域を、前記撮影画像に表示させることを特徴とする撮像方法を提供する。

また、本発明は、上記のいずれかに記載の第１および第２の撮像装置を備え、
前記第１の撮像装置が、さらに、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を出力する出力手段を備え、
前記第２の撮像装置が、さらに、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を受け取るための受取手段を備える撮像システムで適用される撮像方法であって、
前記第２の撮像装置の受取手段が、前記第１の画像処理装置から出力される右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を受け取ることを特徴とする撮像方法を提供する。

本発明によれば、ユーザによって合成不可領域と重なり合わないように指定された必須出力領域を用いて視差量の調整を行うことができるため、ユーザが想定している出力範囲を必ず含む立体画像を合成することができる。

本発明に係るデジタルカメラの内部構成を表す一実施形態のブロック図である。 本発明に係るデジタルカメラの背面の様子を表す一実施形態の概念図である。 （Ａ）および（Ｂ）は、必須プリント領域と合成不可領域とが重なり合う場合の対応例を表す概念図である。 （Ａ）および（Ｂ）は、人物の顔領域を必須プリント領域として自動設定した場合に、必須プリント領域と合成不可領域とが重なり合う場合の対応例を表す概念図である。 （Ａ）および（Ｂ）は、撮影画像を拡大するズーム処理を行う場合に、ズーム可能な範囲を合成可能領域内に制限する場合の例を表す概念図である。 （Ａ），（Ｂ）および（Ｃ）は、必須プリント領域と合成不可領域とが重なり合う場合に、両者が重なり合わなくなる範囲まで、デジタルカメラを右方向に移動させることを促す警告を発する例を表す概念図である。 （Ａ）および（Ｂ）は、撮影距離が立体視に適していない場合に、所定の距離となるまで人物に近づくことを促す警告を発する例を表す概念図である。 （Ａ），（Ｂ）および（Ｃ）は、同じ撮影場面内であっても、必須プリント領域に含まれる人物が立体視に適しているかどうかを判別する場合の例を表す概念図である。 （Ａ），（Ｂ）および（Ｃ）は、撮影画像に含まれる人物の位置および人物までの撮影距離に基づいて、人物を含む領域を必須プリント領域として自動設定して撮影画像に表示させる場合の例を表す概念図である。 （Ａ）および（Ｂ）は、撮影画像とその視差マップの概念図である。 （Ａ）および（Ｂ）は、視差マップに自動で必須プリント領域を表示した様子を表す概念図である。 近くの人をズーム処理を行わずに撮影している場合と、遠くの人を拡大するズーム処理を行って撮影している場合の例を表す概念図である。 （Ａ）および（Ｂ）は、いずれも本発明に係る撮像システムの構成を表す一実施形態のブロック図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の撮像装置および撮像方法、ならびに、撮像システムを詳細に説明する。以下、本発明の撮像装置の一形態として、デジタルカメラを例に挙げて説明する。

図１は、本発明に係るデジタルカメラの内部構成を表す一実施形態のブロック図である。同図に示すデジタルカメラ１０は、左右２つの異なる視点で被写体を撮影して、立体画像を合成して写真プリントを作成するための視差のある右視点画像および左視点画像を取得するものであって、制御装置２２、入力装置２４、表示装置２６、記録装置２８、立体画像合成装置２９、顔検出装置３０、視差量チェック装置３２、視差マップ生成装置３４によって構成されている。

なお、右視点画像および左視点画像から立体画像を合成することに限定されず、複数（３以上）の異なる視点で被写体を撮影することにより得られる複数視点画像から立体画像を合成することもできる。

制御装置２２は、デジタルカメラ１０全体の動作、つまり、後述する、入力装置２４、表示装置２６、記録装置２８、立体画像合成装置２９、顔検出装置３０、視差量チェック装置３２、視差マップ生成装置３４の動作を制御するものである。制御装置２２、入力装置２４、表示装置２６、記録装置２８、立体画像合成装置２９、顔検出装置３０、視差量チェック装置３２、視差マップ生成装置３４は、信号線３６を介して互いに接続されている。

図２は、本発明に係るデジタルカメラの背面の様子を表す一実施形態の概念図である。同図に示すように、本実施形態のデジタルカメラ１０の背面には、ファインダ１２と、操作ボタン１４が設けられている。

ファインダ１２は、撮影時の画像（以下、撮影画像という）を表示する液晶モニタ等の表示装置である。ファインダ１２には、平面画像（例えば、右視点画像、左視点画像、複数視点画像のうちの１つの画像、もしくは後述する視差マップ等）、もしくは立体画像合成装置２９により右視点画像および左視点画像から合成される立体画像（３Ｄ画像）を選択的に表示することができる。また、ファインダ１２は、ユーザ（デジタルカメラ１０の使用者）がファインダ１２に表示された撮影画像を参照して、指で表示画面をなぞることによって、ユーザが写真プリントに必ず再生したい必須プリント領域（立体画像に出力したい必須出力領域）１６を指定することができるタッチパネル（入力装置２４）である。

操作ボタン１４は、ユーザがデジタルカメラ１０に各種の設定や指示を行うための入力装置２４である。

なお、必須プリント領域１６は、任意のアスペクト比の矩形領域や円形領域であってもよい。必須プリント領域は、写真プリントの注文時には、上下方向および左右方向の端部を指定する必要があるが、撮影時には、少なくとも、その左右方向の端部が指定されていればよい。また、必須プリント領域１６の指定方法は、ファインダ１２がタッチパネルの場合には、ユーザがファインダ１２の表示画面に表示された画像を参照して、必須プリント領域１６の範囲を指でなぞって指定することができる。また、タッチパネルではない場合には、操作ボタン１４を利用して、必須プリント領域１６の範囲を指定することができる。

以下、本発明の撮像方法に従って、ユーザが画像を撮影するときの動作を説明する。

画像の撮影時には、例えば、撮影画像の３Ｄ画像（立体画像）がファインダ１２に表示される。また、図２に示すように、ファインダ１２に表示された撮影画像の左右方向の端部には、制御装置２２の制御により、３Ｄ画像を合成する時の右視点画像と左視点画像との間（もしくは複数視点画像の間）の視差量に応じて、３Ｄ画像を写真プリントに再生することができない合成不可領域１８が撮影画像に重ね合わされて表示されている。

ユーザは、ファインダ１２に表示された撮影画像を確認して構図を決定し、例えば、タッチパネルを利用して、ファインダ１２の表示画面を指でなぞることによって、図２に点線の矩形領域で示すように必須プリント領域１６を指定する。指定された必須プリント領域１６は、制御装置２２の制御により、撮影画像に重ね合わされて表示される。この時、ユーザは、撮影画像の左右方向の端部に表示された合成不可領域１８を参照することにより、合成不可領域１８ではない合成可能領域２０内で必須プリント領域１６を指定することができる。

必須プリント領域１６の指定が完了した後、ユーザがシャッタを押すと、ファインダ１２に表示されている画像が撮影され、これに対応する右視点画像および左視点画像（もしくは複数視点画像）の画像データが取得される。右視点画像および左視点画像（もしくは複数視点画像）の画像データとその必須プリント領域１６の情報とが関連付けられて、デジタルカメラ１０が備える記録装置２８に装着されている、メモリカード等の記録媒体に記憶される。

３Ｄ画像の写真プリントを作成する場合、記録媒体に記憶された右視点画像および左視点画像（もしくは複数視点画像）の画像データとその必須プリント領域１６の情報とが関連付けられて、例えば、３Ｄ画像の写真プリントを扱う取次店に設置されている注文受付装置から、もしくは、インターネットのウェブページ等から、例えば、インターネット等の通信回線を通じて、３Ｄ画像を合成して写真プリントを作成するラボに順次送信される。

なお、右視点画像および左視点画像、もしくは複数視点画像の画像データとその必須プリント領域の情報を、通信回線を通じて、注文受付装置６２からラボに送信することに限定されない。例えば、これらのデータが記憶された記録媒体をラボに送付し、ラボで記録媒体からデータを読み取るようにしてもよい。つまり、注文受付装置６２は、右視点画像および左視点画像、もしくは複数視点画像の画像データとその必須プリント領域の情報を外部に出力することができればよく、その出力手段として、例えば、通信手段や記録媒体への記録手段等を利用することができる。

ラボでは、オペレータが、必須プリント領域１６の情報を利用して、必須プリント領域１６が必ず含まれる範囲で視差量、つまり、飛び出し量を調整して、右視点画像および左視点画像（もしくは複数視点画像）の画像データから３Ｄ画像が合成され、その写真プリントが作成される。

なお、右視点画像および左視点画像、もしくは複数視点画像の画像データとその必須プリント領域の情報から、ラボで立体画像を合成することに限定されない。例えば、これらのデータを、これらのデータから立体画像を合成する機能を備えるパーソナルコンピュータに転送し、パーソナルコンピュータで立体画像を合成して、プリンタでプリントを出力することができる。

本実施形態のデジタルカメラ１０であれば、ユーザによって合成不可領域１８と重なり合わないように指定された必須プリント領域１６を用いてラボで視差量の調整を行うことができるため、ユーザが想定しているプリント範囲を必ず含む３Ｄ画像を合成し、その写真プリントを作成することができる。

ここで、注文受付装置は撮影後の画像を扱うため、撮影範囲を変更することはできないが、デジタルカメラ１０は撮影前の画像を扱うため、必須プリント領域１６の指定範囲に応じて撮影範囲を変更することが可能である。これを利用することにより、デジタルカメラ１０では、より簡便にユーザの意図通りの３Ｄ画像の写真プリントを作成できるようにすることができる。以下、この点について説明する。

図３（Ａ）に示すように、デジタルカメラ１０のファインダ１２に撮影画像が表示され、その左右方向の端部に合成不可領域１８が表示されている場合に、ユーザによって、必須プリント領域１６と合成不可領域１８とが重なり合うように指定された場合を考える。この場合、ユーザによって指定された必須プリント領域１６のうち、合成不可領域１８と重なり合う領域は、３Ｄ画像の写真プリントに再生することができない。

この場合、デジタルカメラ１０では、制御装置２２の制御により、必須プリント領域１６と合成不可領域１８とが重なり合わなくなる範囲まで、撮影画像の自動ズーム処理（自動縮小処理）を行う。これにより、同図（Ｂ）に示すように、自動ズーム処理に応じて撮影画像が縮小されるとともに必須プリント領域１６も同時に縮小されるため、必須プリント領域１６と合成不可領域１８とが重なり合わないように自動的に調整することができる。

なお、デジタルカメラ１０と被写体との間の撮影距離が立体視に適した所定の距離よりも大きくなると、ズーム処理を行っても効果が小さいため、自動ズーム処理を行うのは、撮影距離が所定の距離以下である場合が望ましい。

ここで、顔検出装置３０により撮影画像に含まれる人物の顔領域を検出し、制御装置２２により、検出された顔領域を必須プリント領域１６（の初期設定）として自動で設定して表示することも可能である。この場合、図４（Ａ）に示すように、自動設定された必須プリント領域１６と合成不可領域１８とが重なり合う場合には、同様に、同図（Ｂ）に示すように、自動ズーム処理を行って両者が重なり合わないように調整することが望ましい。

また、必須プリント領域１６と合成不可領域１８とが重なり合っておらず、かつ、入力装置２４を介して入力される指示に従って、撮影画像を拡大するズーム処理を行う場合に、ズーム可能な範囲を制限してもよい。

図５（Ａ）に示すように、必須プリント領域１６が合成可能領域２０内で指定された場合に、撮影画像のズーム（拡大）処理を行うと、必須プリント領域１６も同時に拡大される。この場合には、同図（Ｂ）に示すように、必須プリント領域１６と合成不可領域１８とが重なり合わない範囲で、つまり、合成可能領域２０内の範囲で、撮影画像および必須プリント領域を同時に拡大するズーム処理を行うように制限する。そして、制御装置２２は、必須プリント領域１６と合成不可領域１８とが重なり合う範囲まで、ユーザが撮影画像を拡大しようとした場合には、警告（警告メッセージの表示、音声による警告等）を発する。

また、撮影距離が所定の距離以下である場合に、必須プリント領域１６と合成不可領域１８とが重なり合うように指定された場合に、両者が重なり合わなくなる範囲まで、デジタルカメラ１０を右方向ないし左方向に移動させることを促す警告を発することも可能である。

図６（Ａ）に示すように、例えば、必須プリント領域１６と撮影画像の右端の合成不可領域１８とが重なり合う場合、同図（Ｂ）に右向きの矢印で示すように、デジタルカメラ１０を右方向に移動させるように促す警告を発生させる。デジタルカメラ１０が右方向に移動されると、同図（Ｃ）に示すように、撮影画像および必須プリント領域１６が同時に右方向に移動されるため、必須プリント領域１６と合成不可領域１８とが重なり合わないように調整される。そして、両者が重なり合わなくなるまでデジタルカメラ１０が移動されると、警告を消す。

次に、３Ｄ画像における飛び出し量は、撮影距離にも関係がある。つまり、撮影距離が近いほど視差量が大きくなり、飛び出し量も大きくなる。従って、撮影距離も考慮することが望ましい。

図７（Ａ）に示すように、必須プリント領域１６が指定された場合に、例えば、特開２００８−１７２３４２号公報に開示されているように、視差量チェック装置３２により、２枚の画像の特定パターン（顔など）の視差量を計算することにより、必須プリント領域の視差量が立体視に適しているかどうかをチェックする。そして、制御装置２２により、チェックの結果から、必須プリント領域１６の視差量が立体視に適していない場合には、「被写体にもっと近づいて下さい」というメッセージを同図（Ｂ）に示すように、必須プリント領域１６が立体視に適した視差量となる所定の距離まで被写体に近づくことを促す警告を発する。

なお、上記のように、必須プリント領域の視差量が立体視に適しているかどうかを厳密に判別しなくてもよい。例えば、顔検出装置３０により、撮影画像に含まれる人物の顔領域を検出し、検出した顔領域に含まれる人物の顔の大きさから人物までの撮影距離を計算し、計算した人物までの撮影距離が所定の距離よりも大きい場合に、所定の距離となるまで人物に近づくことを促す警告を発するようにしてもよい。

また、同じ撮影場面（撮影画像）内であっても、例えば、必須プリント領域１６に含まれる人物の顔領域から人物までの撮影距離を計算することによって立体視に適しているかどうかを判別してもよい。

例えば、図８（Ａ）に示すように、同じ撮影場面内であっても、図中左側の人物は、撮影距離が遠いので立体視には適していないが、同右側の人物は、撮影距離が近いので立体視に適している場合を考えてみる。

ここで、同図（Ｂ）に示すように、必須プリント領域１６として、左右両方の人物を含む領域が指定された場合には、立体視に適している右側の人物が必須プリント領域１６内に含まれているため、問題はない。一方、同図（Ｃ）に示すように、必須プリント領域１６として、左側の人物のみを含む領域が指定された場合、前述ように、左側の人物は立体視に適していないため、警告を発する。

また、制御装置２２により、撮影画像に含まれる人物の位置および人物までの撮影距離に基づいて、人物を含む領域を必須プリント領域として自動設定して撮影画像に表示させることも可能である。

例えば、図９（Ａ）に示すように、撮影画像内に２人の人物がいる場合に、同図（Ｂ）に示すように、この２人の人物を含む領域を必須プリント領域１６として自動設定する。この場合、ユーザは、同図（Ｃ）に示すように、必須プリント領域１６を、左側の人物のみを含む領域に修正するというように、自動設定された必須プリント領域１６を適宜修正することができる。

また、視差マップを利用して必須プリント領域を設定することも可能である。

図１０（Ａ）および（Ｂ）は、撮影画像とその視差マップの概念図である。同図（Ａ）に示す撮影画像の場合には同図（Ｂ）に示すような視差マップが表示される。視差マップは、右視点画像および左視点画像（もしくは複数視点画像のうちの２つの画像）の各対応画素の視差を可視化したものであって、視差マップ生成装置３４によって生成される。図示例の視差マップは、視差が大きい領域が赤色、視差が小さい領域が青色というように、視差に応じて疑似カラー表示されている。なお、疑似カラーに限定されず、グレースケールで表示してもよい。

このように、必須プリント領域１６を指定する場合に、視差マップを表示することにより、ファインダ１２が３Ｄ画像の表示機能を備えていない場合であっても、ユーザが撮影画像全体の飛び出し量を確認することができるので、ユーザが必須プリント領域１６を決定することを支援することができる。

また、顔検出装置３０により、撮影画像に含まれる人物を検出し、制御装置２２により、同図（Ａ）に示す画像に対応する視差マップから撮影画像全体の飛び出し量をチェックし、図１１（Ｂ）に示すように、人物の飛び出し量が最も大きくなる領域を、必須プリント領域１６として自動設定して視差マップに表示させることも可能である。この場合、ユーザは、自動設定された必須プリント領域１６を適宜修正することができる。

なお、必須プリント領域を自動で設定する場合には、人物よりも飛び出し量が大きい非人物の領域を必須プリント領域として指定しない方が望ましい。同図（Ｂ）の例では、同図（Ａ）に示す撮影画像の左部の壁の領域は指定しない。また、視差マップの表示方法は何ら限定されず、ファインダ１２に表示された視差マップをリアルタイムに更新してもよいし、あるいは、被写体に自動フォーカスしたときに視差マップを表示してもよい。

視差マップは、撮影画像全体を視差マップ化してから一括表示してもよいが、例えば、顔検出した範囲を優先的に表示し、その他の部分をマップ化が終了する毎に段階的に表示してもよい。また、視差マップではなく、撮影距離に応じて所定の領域を必須プリント領域として自動設定してもよい。前述のように、撮影距離に応じて３Ｄ画像の飛び出し量が変わるため、撮影距離が分かれば飛び出し量の大きい領域を必須プリント領域として自動設定することができる。

以上、必須プリント領域に応じたズーム制御、および、必須プリント領域中の撮影距離に応じた撮影支援について説明したが、両者を組み合わせることにより、より精度の高い制御を行うことが可能になる。

例えば、同じ顔のアップの構図であっても、図１２の左部に示すように、近くの人（撮影距離が短い人物）を拡大するズーム処理を行わずに撮影している場合と、同図の右上部に示すように、遠くの人（撮影距離が長い人物）を拡大するズーム処理を行って撮影している場合がある。この場合、３Ｄ画像を合成しやすいのは、近くの人を撮影している場合である。

遠くの人をズーム処理を行って撮影している場合、前述のように、必須プリント領域１６と合成不可領域１８とが重なり合う場合に自動ズーム処理（自動縮小処理）を行っても効果は小さい。従って、この場合には、まず、被写体に近づくことを促す警告を発生し、その後、撮影距離が所定の距離（立体視に適した撮影距離）以下となってから、同図の右下部に示すように、自動ズーム処理（自動縮小処理）を行うことが望ましい。

ただし、実際には、撮影距離が近づくにつれて被写体の表示範囲が大きくなるので、撮影距離が近づくのと並行して、例えば、被写体の大きさが変化しないように自動ズームアウト処理（自動縮小処理）を実施する必要がある。

なお、デジタルカメラ１０は、写真を撮影する通常のカメラに限らず、例えば、携帯電話のカメラ機能等のように、視差のある右視点画像および左視点画像、もしくは複数視点画像を取得することができるものであればよい。

さらに、本発明に係る撮像装置は、デジタルカメラおよびプリントの出力に限定されるものではなく、２つ以上の異なる視点で被写体を撮影して、右視点画像および左視点画像、もしくは複数視点画像を取得し、ユーザにより表示装置に表示された撮影時の撮影画像を参照して指定される、立体画像に出力したい必須出力領域の情報を受け取って、必須出力領域および合成不可領域を、撮影画像に重ね合わせて表示させることができるものであればよい。

また、本発明に係る撮像システムは、デジタルカメラおよびプリント出力に限定されるものではなく、本発明に係る複数の撮像装置を組み合わせて構成されるものである。撮像システムが、例えば、第１および第２の撮像装置を備える場合、第１の撮像装置は、右視点画像および左視点画像、もしくは複数視点画像、ならびに、必須出力領域の情報を出力する出力装置を備え、第２の撮像装置は出力装置に対応する受取装置を備える。そして、第１の撮像装置の出力装置から、右視点画像および左視点画像、もしくは複数視点画像、ならびに、必須プリント領域の情報を出力し、第２の撮像装置の受取装置で受け取ることによって、これらのデータを２台の撮像装置で共有することができる。

このように、複数の撮像装置の間でデータを共有することによって、例えば、第２の撮像装置の制御装置が、第１の撮像装置から受け取った必須出力領域を、第２の撮像装置の表示装置に表示された撮影画像に重ね合わせて表示させるというように、１台の撮像装置で行われた処理内容を他の撮像装置で利用することができ、それぞれのユーザが、他のユーザの処理内容を利用して処理を行うことができる。

なお、撮像システムが２台の撮像装置を備える場合には、図１３（Ａ）に示すように、両者をケーブルで直接接続してデータを送受信することによって共有してもよいし、あるいは、記録媒体を利用してデータを入出力することによって共有してもよい。また、撮像システムが３台以上の撮像装置を備える場合には、同図（Ｂ）に示すように、データを保存するサーバを設け、それぞれの撮像装置から通信回線を通してサーバにアクセスして、データを送受信することによって共有してもよい。

本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ デジタルカメラ
１２ ファインダ
１４ 操作ボタン
１６ 必須プリント領域
１８ 合成不可領域
２０ 合成可能領域
２２ 制御装置
２４ 入力装置
２６ 表示装置
２８ 記録装置
３０ 顔検出装置
３２ 視差量チェック装置
３４ 視差マップ生成装置
３６ 信号線

Claims (17)

1. ２つ以上の異なる視点で被写体を撮影して、立体画像を合成するための視差のある右視点画像および左視点画像、もしくは複数視点画像を取得する撮像装置であって、
   撮影時の撮影画像を表示する表示手段と、
   ユーザにより前記表示手段に表示された撮影画像を参照して指定される、前記立体画像に出力したい必須出力領域を入力するための入力手段と、
   前記必須出力領域、および、前記立体画像を合成する時の前記右視点画像と前記左視点画像との間、もしくは前記複数視点画像の間の視差量に応じて前記立体画像に出力することができない合成不可領域を、前記撮影画像に表示させる制御手段とを備えることを特徴とする撮像装置。
2. 前記制御手段は、前記必須出力領域と前記合成不可領域とが重なり合う場合に、該必須出力領域と該合成不可領域とが重なり合わなくなる範囲まで、前記撮影画像および前記必須出力領域を同時に縮小する自動ズーム処理を行うものである請求項１に記載の撮像装置。
3. さらに、前記撮影画像に含まれる人物の顔領域を検出する顔検出手段を備え、
   前記制御手段は、前記顔領域を前記必須出力領域として設定して前記自動ズーム処理を行うものである請求項２に記載の撮像装置。
4. 前記制御手段は、前記必須出力領域と前記合成不可領域とが重なり合っておらず、かつ、前記入力手段を介して入力される指示に従って、前記撮影画像を拡大するズーム処理を行う場合に、前記必須出力領域と前記合成不可領域とが重なり合わない範囲で、前記撮影画像および前記必須出力領域を同時に拡大するものである請求項２または３に記載の撮像装置。
5. 前記制御手段は、前記出力領域と前記合成不可領域とが重なり合う範囲まで前記撮影画像を拡大しようとした場合に、警告を発するものである請求項４に記載の撮像装置。
6. 前記制御手段は、前記必須出力領域と前記合成不可領域とが重なり合う場合に、該必須出力領域と該合成不可領域とが重なり合わなくなる範囲まで、当該撮像装置を左方向ないし右方向に移動させることを促す警告を発するものである請求項１に記載の撮像装置。
7. さらに、前記必須出力領域の視差量が立体視に適しているかどうかをチェックする視差量チェック手段を備え、
   前記制御手段は、前記チェックの結果から、前記必須出力領域の視差量が立体視に適していない場合に、該必須出力領域が立体視に適した視差量となる距離まで前記被写体に近づくことを促す警告を発するものである請求項６に記載の撮像装置。
8. さらに、前記撮影画像に含まれる人物の顔領域を検出する顔検出手段を備え、
   前記制御手段は、前記顔領域に含まれる人物の顔の大きさから該人物までの撮影距離を計算し、該人物までの撮影距離が前記所定の距離よりも大きい場合に、該所定の距離となるまで該人物に近づくことを促す警告を発するものである請求項６に記載の撮像装置。
9. 前記顔検出手段は、前記必須出力領域に含まれる人物の顔領域を検出し、
   前記制御手段は、前記必須出力領域に含まれる人物までの撮影距離を計算するものである請求項８に記載の撮像装置。
10. 前記制御手段は、前記撮影画像に含まれる人物の位置および該人物までの撮影距離に基づいて、該人物を含む領域を前記必須出力領域として設定して前記撮影画像に表示させるものである請求項８に記載の撮像装置。
11. さらに、前記右視点画像および左視点画像、もしくは複数視点画像から、該右視点画像および左視点画像、もしくは複数視点画像の対応画素の視差を表す視差マップを生成する視差マップ生成手段を備え、
    前記制御手段は、前記視差マップを前記視差に応じて前記表示手段に疑似カラー表示もしくはグレースケール表示させ、前記顔領域に基づいて、前記撮影画像に含まれる人物を検出し、該人物を含む領域を前記必須出力領域として設定して前記表示手段に表示された視差マップに表示させるものである請求項８に記載の撮像装置。
12. 前記制御手段は、前記撮影画像に含まれる被写体との間の撮影距離が所定の距離よりも大きく、該被写体を拡大するズーム処理が行われている場合に、該被写体に近づくことを促す警告を発し、前記撮影距離が前記所定の距離以下となるまで、該撮影距離が近づくにつれて大きくなる前記被写体を縮小する自動ズーム処理を行うものである請求項１に記載の撮像装置。
13. 前記制御手段は、前記撮影画像に含まれる被写体との間の撮影距離が所定の距離以下である場合に、前記自動ズーム処理を行うものである請求項２または６に記載の撮像装置。
14. 請求項１〜１３のいずれかに記載の第１および第２の撮像装置を備え、
    前記第１の撮像装置は、さらに、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を出力する出力手段を備え、
    前記第２の撮像装置は、さらに、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を受け取るための受取手段を備え、
    前記第２の撮像装置の受取手段は、前記第１の画像処理装置から出力される右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を受け取るものであることを特徴とする撮像システム。
15. 前記第２の撮像装置の制御手段は、前記第１の撮像装置から受け取った必須出力領域を、該第２の撮像装置の表示手段に表示された撮影画像に表示させるものである請求項１４に記載の撮像システム。
16. ２つ以上の異なる視点で被写体を撮影して、立体画像を合成するための視差のある右視点画像および左視点画像、もしくは複数視点画像を取得する撮像方法であって、
    撮影時の撮影画像を表示手段に表示し、
    ユーザにより前記表示手段に表示された撮影画像を参照して指定される、前記立体画像に出力したい必須出力領域を入力手段を介して入力し、
    制御手段により、前記必須出力領域、および、前記立体画像を合成する時の前記右視点画像と前記左視点画像との間、もしくは前記複数視点画像の間の視差量に応じて前記立体画像に出力することができない合成不可領域を、前記撮影画像に表示させることを特徴とする撮像方法。
17. 請求項１〜１３のいずれかに記載の第１および第２の撮像装置を備え、
    前記第１の撮像装置が、さらに、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を出力する出力手段を備え、
    前記第２の撮像装置が、さらに、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を受け取るための受取手段を備える撮像システムで適用される撮像方法であって、
    前記第２の撮像装置の受取手段が、前記第１の画像処理装置から出力される右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を受け取ることを特徴とする撮像方法。