JP2012194642A - 画像処理装置および画像処理方法、ならびに、画像処理システム - Google Patents

Abstract

【課題】ユーザが想定している出力範囲を必ず含む立体画像を作成することができる画像処理装置を提供する。
【解決手段】画像処理装置は、視差のある右視点画像および左視点画像、もしくは複数視点画像を処理するものであって、右視点画像および左視点画像、もしくは複数視点画像を基にして、ユーザが右視点画像および左視点画像、もしくは複数視点画像から合成される立体画像に出力したい必須出力領域を指定するための画像を表示する表示手段と、ユーザにより表示手段に表示された画像を参照して指定される、必須出力領域の情報を入力するための入力手段と、必須出力領域を、表示手段に表示された画像に表示させる制御手段と、右視点画像および左視点画像、もしくは複数視点画像、ならびに、必須出力領域の情報を出力する出力手段とを備える。
【選択図】図１

Description

本発明は、視差のある右視点画像および左視点画像、もしくは複数視点画像を処理する画像処理装置および画像処理方法、ならびに、画像処理システムに関するものである。

人間は、左右の目で異なる角度および異なる距離から被写体を見ることにより、被写体の立体感を認識することが知られている。このとき、被写体の左右の目における見え方の違いを視差といい、視差の程度を視差量（ずれ量）という。

人間が立体感を認識する原理を利用して、視差のある２枚の平面画像を立体的な画像（立体画像）として人間に認識させる方法が従来から提案されている。例えば、左右２つの視点で異なる角度から同一の被写体を撮影して視差のある右視点画像および左視点画像を取得し、右視点画像を右目に、左視点画像を左目に表示させることにより、人間は、これら２枚の平面画像を１枚の立体画像として認識する。

人間は視差の程度により立体感を認識するため、右視点画像と左視点画像を左右方向に物理的にずらして視差量を調整することにより、立体画像における立体感（飛び出し量）を調節することができる。

また、視差量は立体画像の表示サイズに依存し、表示サイズを大きくすると右視点画像と左視点画像との間の視差量が増え、飛び出し量が大きくなることが知られている。さらに、立体画像は、右視点画像と左視点画像の重ね合わせによって表現されるため、視差量を変化させると重ね合わせ部分の範囲が変化し、立体画像として表示することができる範囲が変わることも知られている。

人間の両目の間の距離（間隔）は平均約６５ｍｍであり、従来の立体撮影では、これがレンズ間の最適距離であるとされてきた。これに対し、本出願人は、非特許文献１に示す立体カメラ（３Ｄデジタルカメラ）において、右視点画像用および左視点画像用の２つのレンズの距離を約２０％広く取ることにより、人間の目よりも立体感をやや強調している。また、自動／手動に切換ができる視差調整機能を搭載することにより、距離によらず自然な立体画像の撮影・鑑賞を可能にしている。

人間が立体感を感じるのは、左目と右目で物を見る角度や距離が異なることから生じる「両目視差」によると言われている。上記の立体カメラの液晶モニタには、例えば、「ライトディレクションコントロールシステム」や「パララックスバリアシステム」という本出願人が独自に開発した立体画像表示技術を採用している。これらの技術では、左目・右目に届く光の方向を高精度に制御し、両目にそれぞれ別の画像を投影することにより、裸眼のままで自然な立体感を得ることができる。

ここで、本発明に関連性のある先行技術文献として、特許文献１〜４がある。

特許文献１には、右視点画像の左右両サイドにマージン領域を付加しておき、右視点画像または左視点画像をスライドさせた場合でも、立体視画像の表示不可となる部分を発生することなく、立体視画像を適正に生成することが記載されている。

特許文献２には、左目画像を右に、右目画像を左に所定画素分だけ水平方向にシフトさせることにより、画像全体をディスプレイ面より手前に飛び出させて、３次元画像を得ることが記載されている。また、同文献には、左右映像信号を水平方向にシフトさせると、左目画像の右端及び右目画像の左端が欠落しディスプレイ上で表示されなくなることが記載されている。

特許文献３には、複数のレイヤーにて構成される画像において、各レイヤーで選択した領域情報および各レイヤー間の距離情報から被写体の奥行き分布を表す視差マップを作成し、視差マップと平面画像から多視点画像を生成することが記載されている。

特許文献４には、２次元画像から立体視画像を作成する場合に、原稿と記録紙のそれぞれの大きさ、変倍率及びずらし量の関係により原稿の一部が記録紙をはみ出して記録できない場合には、その旨を表示することが記載されている。

特許第４４４２１９０号公報 特開平８−２０５２０３号公報 特開２００３−３３１３１７号公報 特開平９−１９１３９３号公報

「３Ｄデジタル映像システム」、［online］、富士フイルム株式会社、［平成２３年 １月２０日検索］、インターネット〈URL：http://fujifilm.jp/personal/3d/index.html〉

立体カメラで撮影された立体画像は、立体画像の写真プリントを扱う取次店に設置されている注文受付装置（店頭受付機）、もしくは、インターネットのウェブページ等から注文の受付が行われ、立体画像の画像データ（立体画像データ）および注文情報等が、立体画像の写真プリントを作成するラボに送信される。そして、ラボにて、オペレータが右視点画像と左視点画像との間の視差量の調整をマニュアルで実施することによって、立体画像における飛び出し量が調整された写真プリントが作成される。

右視点画像および左視点画像から立体画像を合成する場合には、前述のように、両者を左右方向に物理的にシフトして視差量を調整することにより立体画像における飛び出し量を調整する。立体画像は、右視点画像と左視点画像とが重なり合う範囲で合成されるため、立体画像の写真プリントでは、視差量の調整の程度に応じて、注文者（ユーザ）が想定していたプリント範囲と、注文者が実際に受け取った写真プリントにおけるプリント範囲とが異なる可能性があるという問題点があった。

本発明の目的は、ユーザが想定している出力範囲（表示範囲）を必ず含む立体画像を合成することができる画像処理装置および画像処理方法、ならびに、画像処理システムを提供することにある。

上記目的を達成するために、本発明は、視差のある右視点画像および左視点画像、もしくは複数視点画像を処理する画像処理装置であって、
前記右視点画像および左視点画像、もしくは複数視点画像を基にして、ユーザが前記右視点画像および左視点画像、もしくは複数視点画像から合成される立体画像に出力したい必須出力領域を指定するための画像を表示する表示手段と、
前記ユーザにより前記表示手段に表示された画像を参照して指定される、前記必須出力領域の情報を入力するための入力手段と、
前記必須出力領域を、前記表示手段に表示された画像に表示させる制御手段と、
前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を出力する出力手段とを備えることを特徴とする画像処理装置を提供するものである。

さらに、前記右視点画像および左視点画像、もしくは複数視点画像のうちの２つの画像の対応画素の視差を可視化した視差マップを生成する視差マップ生成手段を備え、
前記表示手段は、前記必須出力領域を指定するための画像として、前記視差マップを前記視差に応じて疑似カラーもしくはグレースケール表示するものであることが好ましい。

さらに、前記右視点画像および左視点画像、もしくは複数視点画像から立体画像を合成する立体画像合成手段を備え、
前記表示手段は、前記必須出力領域を指定するための画像として、前記立体画像合成手段により合成された立体画像を表示するものであることが好ましい。

また、前記表示手段は、前記右視点画像および左視点画像を処理する場合に、前記必須出力領域を指定するための画像として、前記右視点画像および左視点画像の両方を同時に表示するものであり、
前記入力手段は、前記ユーザにより前記表示手段に表示された右視点画像もしくは左視点画像を参照して指定される、前記必須出力領域の情報を入力するものであることが好ましい。

また、前記表示手段は、前記必須出力領域を指定するための画像として、前記ユーザにより指定される、前記右視点画像、左視点画像、もしくは、複数視点画像のうちのいずれか１つの画像を表示するものであることが好ましい。

また、前記制御手段は、さらに、前記右視点画像および左視点画像、もしくは複数視点画像から立体画像を合成する時の、前記右視差画像および左視差画像、もしくは複数視点画像のうちの２つの画像の間の視差量に応じて、前記立体画像を出力することができない合成不可領域を、前記表示手段に表示された画像に表示させるものであることが好ましい。

また、前記制御手段は、前記ユーザが、前記必須出力領域を指定する時に、前記合成不可領域ではない合成可能領域内でのみ該必須出力領域を指定することができるように制限するものであることが好ましい。

また、前記制御手段は、前記必須出力領域と前記合成不可領域とが重なり合うように指定された場合に、該必須出力領域と該合成不可領域とが重なり合っている旨の警告を発するものであることが好ましい。

また、前記制御手段は、前記ユーザにより前記入力手段を介して入力される、視差調整可能範囲内の設定位置に応じて、前記合成不可領域の範囲を設定するものであることが好ましい。

さらに、前記表示手段に表示された画像に含まれる人物を検出する人物検出手段を備え、
前記制御手段は、前記人物検出手段によって検出された人物が前記合成不可領域に含まれないように前記合成不可領域の範囲を設定するものであることが好ましい。

さらに、前記表示手段に表示された画像に含まれる人物を検出する人物検出手段を備え、
前記制御手段は、前記視差マップから画像全体の飛び出し量をチェックし、前記人物検出手段によって検出された人物の飛び出し量が最も大きくなるように、前記必須出力領域を自動で設定して前記表示手段に表示させるものであることが好ましい。

さらに、前記入力手段を介して入力される出力サイズのものであって、前記必須出力領域を含み、前記立体画像の出力領域が異なる複数の出力イメージを生成する画像生成手段を備え、
前記制御手段は、前記出力領域が異なる複数の出力イメージを前記表示手段に表示させるものであることが好ましい。

また、前記制御手段は、前記合成不可領域の左右方向の範囲が大きくなるに従って、前記出力領域の左右方向の端部が前記合成不可領域の対応する左右方向の端部に接し、かつ、該出力領域のアスペクト比を保持した状態で該出力領域のサイズが小さくなる場合に、該出力領域の上下方向の端部が前記必須出力領域の上下方向の端部よりも小さくなる出力イメージについて、前記出力領域を９０°回転し、前記アスペクト比を保持した状態で、前記出力領域の回転後の左右方向の端部が前記合成不可領域の対応する左右方向の端部に接するように該出力領域を拡大し、該出力領域の回転後の上下方向の端部が前記必須出力領域の上下方向の端部以上の大きさになるようにするものであることが好ましい。

また、前記制御手段は、前記必須出力領域が前記視差調整可能範囲に重なって指定された場合、該必須出力領域と前記合成不可領域とが重なり合う出力イメージを前記表示装置に表示させないものであることが好ましい。

また、本発明は、上記のいずれかに記載の第１および第２の画像処理装置を備え、
前記第２の画像処理装置は、さらに、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を受け取るための受取手段を備え、
前記第１の画像処理装置の出力手段は、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を出力するものであり、
前記第２の画像処理装置の受取手段は、前記第１の画像処理装置から出力される右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を受け取るものであることを特徴とする画像処理システムを提供する。

ここで、前記第２の画像処理装置の制御手段は、前記第１の画像処理装置から受け取った必須出力領域を、該第２の画像処理装置の表示手段に表示された画像に表示させるものであることが好ましい。

さらに、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報から立体画像を合成して該立体画像のプリントを作成するラボを備えることが好ましい。

また、本発明は、視差のある右視点画像および左視点画像、もしくは複数視点画像を処理する画像処理方法であって、
前記右視点画像および左視点画像、もしくは複数視点画像を基にして、ユーザが前記右視点画像および左視点画像、もしくは複数視点画像から合成される立体画像に出力したい必須出力領域を指定するための画像を表示手段に表示し、
前記ユーザにより前記表示手段に表示された画像を参照して指定される、前記必須出力領域の情報を入力手段を介して入力し、
制御手段により、前記必須出力領域を、前記表示手段に表示された画像に表示させ、
出力手段により、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を出力することを特徴とする画像処理方法を提供する。

また、本発明は、上記のいずれかに記載の第１および第２の画像処理装置を備え、
前記第２の画像処理装置は、さらに、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を受け取るための受取手段を備える画像処理システムで適用される画像処理方法であって、
前記第１の画像処理装置の出力手段が、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を出力し、
前記第２の画像処理装置の受取手段が、前記第１の画像処理装置から出力される右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を受け取ることを特徴とする画像処理方法を提供する。

本発明によれば、ユーザによって指定された必須出力領域（必須表示領域）の情報を用いて視差量の調整を行うことができるため、ユーザが想定している出力範囲（表示範囲）を必ず含む立体画像を合成することができる。

本発明に係る注文受付装置の内部構成を表す一実施形態のブロック図である。 表示装置の表示画面の様子を表す一例の概念図である。 選択画像の一例の概念図である。 （Ａ）および（Ｂ）は、選択画像の別の例の概念図である。 注文者が立体画像の写真プリントを注文するときの動作を説明するための概念図である。 （Ａ）および（Ｂ）は、選択画像に自動で必須プリント領域を表示した様子を表す概念図である。 右視点画像および左視点画像と立体画像との関係を表す概念図である。 選択画像の右端まで延びる必須プリント領域が指定された様子を表す概念図である。 必須プリント領域と合成不可領域との関係を表す概念図である。 右視点画像に合成不可領域を重ね合わせて表示した様子を表す概念図である。 左視点画像に合成不可領域を重ね合わせて表示した様子を表す概念図である。 合成可能範囲内でのみ必須プリント領域を指定可能なように制限した様子を表す概念図である。 立体画像に合成不可領域を重ね合わせて表示した様子を表す概念図である。 合成不可領域と合成可能領域との境界の位置を視差調整可能範囲内に設定することを説明するための概念図である。 （Ａ）および（Ｂ）は、合成不可領域と合成可能領域との境界の位置が、選択画像の左右方向の端部から視差調整可能範囲の最小位置までに設定された様子を表す概念図である。 合成不可領域と合成可能領域との境界の位置が、選択画像の左右方向の端部から視差調整可能範囲の最大位置までに設定された様子を表す概念図である。 合成可能領域の範囲が変わることに応じて、プリント領域が変わる様子を説明するための概念図である。 合成不可領域と合成可能領域との境界の位置が変わる様子を表す概念図である。 （Ａ）および（Ｂ）は、プリントサイズが指定された場合に複数のプリントイメージを表示する様子を表す一例の概念図である。 プリントサイズが指定された場合に複数のプリントイメージを表示する様子を表す別の例の概念図である。 プリント領域のアスペクト比と必須プリント領域のアスペクト比との関係を表す一例の概念図である。 プリント領域のアスペクト比と必須プリント領域のアスペクト比との関係を表す別の概念図である。 必須プリント領域と視差量調整可能範囲との関係を表す一例の概念図である。 必須プリント領域と視差量調整可能範囲との関係を表す別の例の概念図である。 （Ａ）および（Ｂ）は、いずれも本発明に係る注文受付システムの構成を表す一実施形態のブロック図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置および画像処理方法、ならびに、画像処理システムを詳細に説明する。以下、本発明の画像処理装置の一形態として、注文受付装置を例に挙げて説明する。

図１は、本発明に係る注文受付装置の内部構成を表す一実施形態のブロック図である。同図に示す注文受付装置６２は、左右２つの異なる視点で被写体を撮影して得られた視差のある右視点画像および左視点画像から立体画像を合成して写真プリントを作成するための注文を受け付けるものであって、制御装置６４、入力装置６６、表示装置６８、記憶装置７０、読取装置７２、立体画像合成装置７３、視差マップ生成装置７４、人物検出装置７６、画像生成装置７８、送信装置（通信装置）８０によって構成されている。

なお、右視点画像および左視点画像から立体画像を合成することに限定されず、複数（３以上）の異なる視点を持つ複数視点画像から立体画像を合成することもできる。複数視点画像は、例えば、複数の異なる視点を持つカメラで被写体を撮影したり、あるいは、１視点の画像から画像処理によって複数視点画像を生成したりすることができる。また、写真プリントを作成することも限定されず、例えば、イラストやアニメのキャラクタ等のプリントであってもよい。

制御装置６４は、注文受付装置６２全体の動作、つまり、後述する、入力装置６６、表示装置６８、記憶装置７０、読取装置７２、立体画像合成装置７３、視差マップ生成装置７４、人物検出装置７６、画像生成装置７８、送信装置８０の動作を制御するものである。制御装置６４、入力装置６６、表示装置６８、記憶装置７０、読取装置７２、立体画像合成装置７３、視差マップ生成装置７４、人物検出装置７６、画像生成装置７８、送信装置８０は、信号線８２を介して互いに接続されている。

図２は、表示装置の表示画面の様子を表す一例の概念図である。同図は、注文受付装置６２の表示装置６８に表示される、立体画像の写真プリントの注文受付時の表示画面を表したものである。表示装置６８は、右視点画像および左視点画像（もしくは複数視点画像）を基にして、プリントに再生したい必須プリント領域（立体画像に出力（例えば、表示）したい必須出力領域（例えば、必須表示領域））を指定するための画像を表示するものであり、指や専用のペン等で画面に触れることによって、その位置情報や各種の指示等を注文受付装置６２に与えることができるタッチパネルである。表示画面１０には、同図に示すように、画像一覧表示部１２、選択画像表示部１４、操作ボタン表示部１６が表示されている。

画像一覧表示部１２は、立体画像の写真プリントを注文しようとする画像の一覧がサムネイル画像で表示される部分であって、表示画面１０の左部に位置する表示ウィンドウ１８内に表示されている。表示ウィンドウ１８内に表示されるサムネイル画像２０の個数は制限されているが、表示ウィンドウ１８の右辺に沿って設置されたスクロールバーによって、表示されるサムネイル画像２０を変更することができる。

選択画像表示部１４は、画像一覧表示部１２の表示ウィンドウ１８内に表示されたサムネイル画像２０の中から注文者（ユーザ）により選択された選択画像が拡大表示される部分であって、表示画面１０の中央部の表示ウィンドウ２２内に表示されている。図２には、画像一覧表示部１２の表示ウィンドウ１８内の左上に表示されたサムネイル画像２０に対応する選択画像２４の右視点画像が選択画像表示部１４の表示ウィンドウ２２内に表示された状態が示されている。

操作ボタン表示部１６は、各種の操作ボタンが表示される部分であって、図２の例では、「拡大・縮小」ボタン２６、「カーソル」ボタン２８が表示画面の右部に沿って表示され、「右視点画像」ボタン３０、「左視点画像」ボタン３２、「３Ｄ画像」ボタン３４、「視差マップ」ボタン３６、「戻る」ボタン３８、「次へ」ボタン４０が表示画面１０の下部に沿って表示されている。

ここで、「拡大・縮小」ボタン２６、「カーソル」ボタン２８は、それぞれ、注文者が写真プリントに必ず再生したい必須プリント領域４２を指定する時に、必須プリント領域４２の拡大・縮小、移動を指定するための操作ボタンである。

なお、必須プリント領域４２は、任意のアスペクト比の矩形領域や円形領域であってもよい。また、必須プリント領域４２の指定方法は、本実施形態の場合のように、表示画面１０がタッチパネルの場合には、注文者が表示画面１０に表示された選択画像を参照して、必須プリント領域４２の範囲を指やペンでなぞって指定することができる。また、タッチパネルではない場合には、マウス等の入力装置６６を利用して、必須プリント領域４２の範囲を公知の手法で指定することができる。

また、「右視点画像」ボタン３０、「左視点画像」ボタン３２、「３Ｄ画像」ボタン３４、「視差マップ」ボタン３６は、それぞれ、選択画像２４を、右視点画像、左視点画像、３Ｄ画像（立体画像）、視差マップに切り換えて表示するための操作ボタンである。

「戻る」ボタン３８、「次へ」ボタン４０は、それぞれ、表示画面１０を、現在の表示画面からその前および次の表示画面に移動させるための操作ボタンである。

図３は、選択画像表示部の表示ウィンドウ内に表示される選択画像の一例の概念図である。「右視点画像」ボタン３０が選択されると、同図左上部に示すような右視点画像が表示され、「左視点画像」ボタン３２が選択されると、同図右上部に示すような左視点画像が表示される。また、注文受付装置６２が、右視点画像および左視点画像（もしくは複数視点画像）から立体画像を合成する立体画像合成装置７３を備え、表示装置６８が立体画像の表示機能を備えている場合に、「３Ｄ画像」ボタン３４が選択されると、同図下部に示すような３Ｄ画像が表示される。

３Ｄ画像には、合成時の視差量に応じて、３Ｄ画像を写真プリントに再生することができない合成不可領域４４が発生する。３Ｄ画像は、前述のように、右視点画像と左視点画像とを物理的に左右方向にずらし重ね合わせることによって合成される。そのため、図３（Ｃ）に示すように、両者を左右方向にずらしたことによって重ね合わせることができない選択画像２４の右端および左端の所定範囲が合成不可領域４４となる。

なお、表示装置６８が立体画像の表示機能を備えていない場合には、「３Ｄ画像」ボタンは無くてもよい。

また、図４（Ａ）および（Ｂ）は、選択画像表示部の表示ウィンドウ内に表示される選択画像の別の例の概念図である。「視差マップ」ボタン３６が選択されると、同図（Ａ）に示す画像の場合には同図（Ｂ）に示すような視差マップが表示される。視差マップは、右視点画像および左視点画像（もしくは複数視点画像のうちの２つの画像）の各対応画素の視差を可視化したものであって、視差マップ生成装置７４によって生成される。図示例の視差マップは、視差が大きい領域が赤色、視差が小さい領域が青色というように、視差に応じて表示画面１０に疑似カラー表示されている。なお、疑似カラーに限定されず、グレースケールで表示してもよい。

以下、本発明の画像処理方法に従って、注文者が立体画像の写真プリントを注文するときの動作を説明する。

注文者が、右視点画像および左視点画像（もしくは複数視点画像）の画像データが記録されたメモリカード等の記録媒体を、画像データの読取装置７２に装着すると、制御装置６４の制御により、記録媒体から右視点画像および左視点画像（もしくは複数視点画像）の画像データが読み取られて、記憶装置７０に記憶され、画像一覧表示部１２の表示ウィンドウ１８内に右視点画像のサムネイル画像２０が表示される。

なお、記憶装置７０に記憶された右視点画像および左視点画像（もしくは複数視点画像）の画像データは、制御装置６４、表示装置６８、記憶装置７０、読取装置７２、視差マップ生成装置７４、人物検出装置７６、画像生成装置７８、および、送信装置８０で使用される。

画像一覧表示部１２の表示ウィンドウ１８内にサムネイル画像２０が表示された後、注文者が、タッチパネルを使って、画像一覧表示部１２の表示ウィンドウ１８内に表示されたサムネイル画像２０の中から１枚のサムネイル画像２０を選択すると、選択されたサムネイル画像２０に対応する選択画像２４の右視点画像が選択画像表示部１４の表示ウィンドウ２２内に拡大表示される。

なお、注文者は、「右視点画像」ボタン３０，「左視点画像」ボタン３２、「３Ｄ画像」ボタン３４、「視差マップ」ボタン３６を適宜選択することにより、制御装置６４により、選択画像２４として、左視点画像、右視点画像、３Ｄ画像、視差マップを随時切り換えて表示させることができる。また、複数視点画像の場合、注文者は、複数視点画像のうちの、複数の視点の異なる画像の中から所望の１つの画像を指定して表示させることができる。

また、右視点画像および左視点画像から合成される立体画像のプリントを作成する注文を受け付けた場合には、右視点画像および左視点画像の両方を同時に表示させることもできる。この場合、注文者は、入力装置６６を利用して、選択画像表示部１４の表示ウィンドウ２２内に表示された右視点画像もしくは左視点画像を指定し、指定した画像を参照して、必須プリント領域の情報を入力することができる。

続いて、注文者は、「拡大・縮小」ボタン２６および「カーソル」ボタン２８を選択して、選択画像表示部１４の表示ウィンドウ２２内に表示された選択画像２４を参照して、図５左部の注文受付装置の表示画面内に点線の矩形領域で示すように必須プリント領域４２を指定する。指定された必須プリント領域４２は、制御装置６４の制御により、表示ウィンドウ２２内に表示された選択画像２４に重ね合わされて表示される。以下同様にして、必須プリント領域４２を指定したいサムネイル画像２０を選択し、これに対応する選択画像２４に必須プリント領域４２を指定することを繰り返し行う。

注文者は、右視点画像、左視点画像、３Ｄ画像を適宜切り換えて表示させることにより、選択画像全体の飛び出し量を確認しながら必須プリント領域を決定することができる。また、表示装置６８が立体画像の表示機能を備えていない場合であっても、３Ｄ画像の代わりに視差マップを表示させることにより、同様に、選択画像２４全体の飛び出し量を確認しながら必須プリント領域を決定することができる。

このように、必須プリント領域を指定する場合に、３Ｄ画像ないし視差マップを表示する機能を備えることにより、注文者が選択画像全体の飛び出し量を確認することができるので、注文者が必須プリント領域を決定することを支援することができる。

また、図６（Ａ）に示すように、人物検出装置７６により、例えば、顔検出によって、選択画像２４に含まれる人物を検出し、制御装置６４により、同図（Ｂ）に示すように、同図（Ａ）に示す画像に対応する視差マップから選択画像２４全体の飛び出し量をチェックし、人物の飛び出し量が最も大きくなるように、必須プリント領域４２の初期設定として、お勧めの必須プリント領域４２を自動で設定して表示させることも可能である。この場合、注文者は、自動で初期設定された必須プリント領域４２を適宜修正することができる。

なお、必須プリント領域４２を自動で設定する場合には、人物よりも飛び出し量が大きい非人物の領域を必須プリント領域４２として指定しない方が望ましい。同図（Ｂ）の例では、同図（Ａ）に示す選択画像２４の左部の壁の領域は指定しない。

必須プリント領域の指定が完了した後、注文者が「次へ」ボタン４０を選択すると、次の表示画面に切り替わり、それぞれの右視点画像および左視点画像（もしくは複数視点画像）の画像データとその必須プリント領域の情報とが関連付けられて、送信装置８０から、インターネット等の通信回線を通じて、立体画像を合成して写真プリントを作成するラボが備える受信装置に順次送信される。

なお、右視点画像および左視点画像の画像データとその必須プリント領域の情報を、通信回線を通じて、注文受付装置６２からラボに送信することに限定されない。例えば、これらを注文受付装置６２で記録メディアに記憶し、ラボで記録メディアから読み取るようにしてもよい。つまり、注文受付装置６２は、右視点画像および左視点画像の画像データとその必須プリント領域の情報を外部に出力（例えば、通信回線を通じた送受信、記録メディアを利用したデータの入出力等）することができればよく、その出力手段として、例えば、通信手段（送信手段、受信手段）や記録メディアへの記録手段等を利用することができる。

ラボでは、オペレータが、必須プリント領域の情報を利用して、図５右部のラボの表示画面に示すように、必須プリント領域４２が必ず含まれる範囲で視差量、つまり、飛び出し量を調整して、右視点画像および左視点画像（もしくは複数視点画像）の画像データから立体画像が合成され、その写真プリントが作成される。

また、右視点画像および左視点画像の画像データとその必須プリント領域の情報から、ラボで立体画像を合成してプリントを作成することに限定されない。つまり、立体画像の合成手段や、立体画像のプリント作成手段はラボに限定されない。例えば、パーソナルコンピュータを利用して、右視点画像および左視点画像の画像データとその必須プリント領域の情報から立体画像を合成し、３Ｄ対応のプリント作成手段（例えば、プリント制御ソフト、プリンタ等）により、立体画像のプリントを作成することができる。また、注文受付装置が立体画像の合成手段やプリント作成手段を備えていてもよい。

本実施形態の注文受付装置６２であれば、注文者によって指定された必須プリント領域４２を用いてラボで視差量の調整を行うことができるため、注文者が想定しているプリント範囲を必ず含む立体画像の写真プリントを作成することができる。

ここで、図７に示すように、適切な３Ｄ画像を合成することが可能な右視点画像（同図左部参照）と左視点画像（同図右部参照）との間（もしくは複数視点画像のうちの２つの画像の間）の視差量調整可能範囲４６（同図下部の３Ｄ画像参照）は、所定のある一定範囲であり、視差量が大きすぎても小さすぎても３Ｄ画像は破綻する。しかしながら、場合によっては、注文者によって、３Ｄ画像を合成することができない範囲（つまり、合成不可領域）が必須プリント領域として指定されてしまう場合がある。

例えば、図８に示すように、選択画像表示部１４の表示ウィンドウ２２内に選択画像２４として右視点画像が表示されている場合に、注文者によって、選択画像２４の右端まで延びる必須プリント領域４２が指定された場合を考える。この場合、図９に示すように、３Ｄ画像では、視差量に応じて３Ｄ画像の右端および左端の所定範囲が合成不可領域４４となるため、右端の合成不可領域４４の一部が必須プリント領域４２として指定されたことになる。左視点画像についても同様である。

そのため、本実施形態の注文受付装置６２は、図１０および図１１に示すように、選択画像表示部１４の表示ウィンドウ２２内に右視点画像ないし左視点画像が表示された場合に、制御装置６４により、合成不可領域４４を表示する。これにより、注文者は、右視点画像ないし左視点画像が表示された場合であっても合成不可領域４４を事前に認識することができ、必須プリント領域４２と合成不可領域４４とが重なり合うことを防止することができる。

なお、注文者が必須プリント領域４２を指定する場合、制御装置６４により、図１２に示すように、合成不可領域４４ではない領域（合成可能領域）内でのみ、注文者が必須プリント領域４２を指定できるように制限してもよいし、あるいは、必須プリント領域４２と合成不可領域４４とが重なり合うように指定された場合に警告（警告メッセージの表示、音声による警告等）を発するようにしてもよい。

また、表示装置６８が立体画像の表示機能を備える場合には、図１３に示すように、選択画像２４として３Ｄ画像が表示された場合にも合成不可領域４４を重ね合わせて表示することが望ましい。同様に、選択画像２４として視差マップが表示された場合にも合成不可領域を表示することが望ましい。つまり、制御装置６４は、表示装置６８に表示された選択画像に合成不可領域４４を表示するように制御する。

ここで、右視点画像と左視点画像との間には、あらかじめ一定量の視差（基準視差）が存在する。ラボのオペレータは、両者を左右方向に物理的にずらすことによって視差量を調整し３Ｄ画像における飛び出し量を調整するが、視差調整可能範囲は、基準視差位置からある一定の範囲である。つまり、合成不可領域４４の最大範囲は、選択画像２４の左右方向の端部から視差調整可能範囲の最大位置までとなる。

本実施形態の注文受付装置６２では、図１４に示すように、３Ｄ画像の写真プリントを作成するサービス提供者が、視差調整可能範囲４６内で合成不可領域４４と合成可能領域との境界の位置を任意に設定可能である。つまり、注文者が、タッチパネルやマウス等の入力装置６６を介して、視差調整可能範囲４６内で所定の位置を設定することにより、この設定位置に応じて、制御装置６４により、合成不可領域４４の範囲が設定される。

例えば、図１５（Ａ）に示すように、合成不可領域４４と合成可能領域との境界の位置が、選択画像２４の左右方向の端部から視差調整可能範囲４６の最小位置までに設定された場合、同図（Ｂ）に示すように、注文者が必須プリント領域４２を指定することが可能な範囲は広くなるが、注文者が必須プリント領域４２を合成不可領域４４と合成可能領域との境界の位置のところまで指定すると、ラボのオペレータは視差量の調整を全く行うことができなくなる。

一方、図１６に示すように、合成不可領域４４と合成可能領域との境界の位置が、選択画像２４の左右方向の端部から視差調整可能範囲４６の最大位置までに設定された場合、注文者が必須プリント領域４２を指定することができる範囲は狭くなるが、ラボのオペレータは視差量調整可能範囲４６内で視差量を自由に調整することができる。

実際には、視差調整可能範囲４６の最小位置、最大位置ではなく、前述のように、視差調整可能範囲４６内で適当な位置を指定して合成不可領域４４と合成可能領域との境界の位置を任意に設定することができる。また、選択画像２４中の被写体の位置に基づいて合成不可領域４４の範囲を決定してもよい。例えば、人物検出装置７６により、選択画像２４内の人物を検出し、制御装置６４により、検出された人物が合成不可領域４４に含まれないように合成不可領域４４の範囲を決定することが望ましい。

また、３Ｄ画像では、図１７左部の注文受付装置の表示画面内に示すように、必須プリント領域４２を指定するだけでは、注文者が最終的なプリントイメージ（写真プリントの構図）を想像することが難しいという問題がある。

例えば、Ｌサイズ（８９×１２７ｍｍ）の写真プリントを作成する場合、同図右部のラボでの表示画面に示すように、ラボでのオペレータによる飛び出し量、つまり、視差量の調整結果によって合成不可領域４４、つまり、合成可能領域の範囲が変わる。写真プリントのプリント領域４８は、合成可能領域内で必須プリント領域４２を含む任意の位置、任意の倍率の領域を指定することができるため、実際に選択画像から切り出される写真プリントの構図が大きく変わってくる。

この問題に対応するために、本実施形態の注文受付装置６２では、入力装置６６を介してプリントサイズを入力し、図１８に示すように、視差調整可能範囲内で変わる合成不可領域４４の範囲に合わせて、画像生成装置７８により、指定された写真プリントのプリントサイズのものであって、必須プリント領域４２を含み、写真プリントに再生されるプリント領域４６が異なる複数のプリントイメージを、右視点画像および左視点画像から生成する。そして、制御装置６４により、プリント領域４６が異なる複数のプリントイメージを表示画面１０に表示させる。

図１９（Ａ）および（Ｂ）は、プリントサイズが指定された場合に複数のプリントイメージを表示する様子を表す概念図である。同図（Ａ）に示す表示画面５０は、図２に示す表示画面１０において、プリントイメージを表示させるための「プリントイメージ」ボタン５２が操作ボタン表示部１６に表示されているものである。

注文者が、プリントサイズとしてＬサイズを指定し、必須プリント領域４２を指定した後、「プリントイメージ」ボタン５２を選択すると、同図（Ｂ）に示すように、表示画面が切り換えられて、必須プリント領域４２を含む、Ｌサイズのプリント領域の複数のプリントイメージが別の表示画面５４に表示される。そして、注文者は、表示画面５４に表示された複数のプリントイメージの中から、実際に写真プリントとして作成したい１枚のプリントイメージを選択する。これにより、注文者は、選択したプリントイメージに近い写真プリントを入手することが可能になる。

また、図２０は、プリントサイズが指定された場合に複数のプリントイメージを表示する様子を表す別の概念図である。同図に示す表示画面５６は、図２に示す表示画面１０において、同じ表示画面内で複数のプリントイメージを表示するためのプリントイメージ表示部５８が表示されているものである。

プリントイメージ表示部５８は、複数のプリントイメージの一覧がサムネイル画像で表示される部分であって、表示画面５６の左下部の表示ウィンドウ６０内に表示されている。画像一覧表示部１２の場合と同様に、表示ウィンドウ６０内に表示されるサムネイル画像の個数は制限されているが、表示ウィンドウ６０の右辺に沿って設置されたスクロールバーにより、表示されるサムネイル画像を変更することができる。

なお、必須プリント領域４２の設定が変更（修正）された場合に、これに応じて、プリントイメージ表示部５８の表示ウィンドウ６０内に表示されるサムネイル画像の表示をリアルタイムに変更するようにしてもよい。

ここで、視差量が調整されて、合成不可領域４４の左右方向の範囲が次第に大きくなる、つまり、合成可能領域の左右方向の範囲が次第に小さくなる場合について考える。この場合、プリント領域４６の左右方向の端部が合成不可領域４４の対応する左右方向の端部に接し、かつ、プリント領域４６のアスペクト比を保持した状態でプリント領域４６のサイズが次第に小さくなるものとする。

図２１に示すように、必須プリント領域４２のアスペクト比がプリント領域４６のアスペクト比以上である場合には、プリント領域４６の左右方向の端部が必須プリント領域４２の左右方向の端部と一致した状態で、プリント領域４６の上下方向の端部が必須プリント領域４２の上下方向の端部以上となるため、つまり、プリント領域４６内に必須プリント領域４２が含まれるため問題はない。

これに対して、図２２に示すように、必須プリント領域４２のアスペクト比がプリント領域４６のアスペクト比よりも小さい場合には、プリント領域４６の左右方向の端部が必須プリント領域４２の左右方向の端部と一致した状態で、プリント領域４６の上下方向の端部が必須プリント領域４２の上下方向の端部よりも小さくなる、つまり、プリント領域４６内に必須プリント領域４２の一部が含まれなくなる場合がある。この場合には、制御装置６４により、プリント領域４６を９０°回転し、アスペクト比を保持した状態で、プリント領域４６の回転後の左右方向の端部が合成不可領域４４の対応する左右方向の端部に接するようにサイズを拡大し、プリント領域４６の上下方向の端部が必須プリント領域４２の上下方向の端部以上の大きさになるようにすればよい。

また、必須プリント領域４２が視差量調整可能範囲４６内にあるかどうかによってもプリントイメージは変わってくる。

例えば、図２３に示すように、必須プリント領域４２が視差量調整可能範囲４６内にない場合には、視差量を調整可能な最大位置まで調整したとしても。必須プリント領域４２と合成不可領域４４とが重なり合うことはないので問題はない。

これに対し、図２４に示すように、必須プリント領域４２が視差量調整可能領域４６内にある場合には、例えば、視差量を調整可能な最大位置まで調整した場合に、必須プリント領域４２と合成不可領域４４とが必ず重なり合ってしまい、３Ｄ画像を合成することができない。つまり、この場合には、視差量調整可能範囲４６の全範囲にわたって視差量を調整することはできない。従って、プリントイメージの候補を、必須プリント領域４２と合成不可領域４４とが重なり合わないものだけに制限する。これにより、写真プリントとして作成することができるプリントイメージだけを表示することができる。

なお、本発明に係る注文受付装置は、写真プリントの取次店等に設置される注文受付装置（店頭受付機）に限らず、インターネットのウェブページ等から注文を行うパーソナルコンピュータ、もしくは、２以上の視点の異なる画像を同時に撮影するカメラ等によっても実現できる。

また、本発明に係る注文受付システムは、複数の注文受付装置を備えるものである。注文受付システムが、例えば、第１および第２の注文受付装置を備える場合、第１の注文受付装置は前述の出力装置を備え、第２の注文受付装置は出力装置に対応する受取装置を備える。そして、第１の注文受付装置の出力装置（例えば、送信装置）から、右視点画像および左視点画像、もしくは複数視点画像、ならびに、必須プリント領域の情報を出力し、第２の注文受付装置の受取装置（例えば、受信装置）で受け取ることによって、これらのデータを２台の注文受付装置で共有することができる。

このように、複数の注文受付装置の間でデータを共有することによって、例えば、第２の注文受付装置の制御装置が、第１の注文受付装置から受け取った必須プリント領域を、第２の注文受付装置の表示装置に表示された画像に表示させるというように、１台の注文受付装置で行われた処理内容を他の注文受付装置で利用することができ、それぞれの注文者が、他の注文者の処理内容を利用して処理を行うことができる。

なお、注文受付システムが２台の注文受付装置を備える場合には、図２５（Ａ）に示すように、両者をケーブルで直接接続してデータを送受信することによって共有してもよいし、あるいは、記録メディアを利用してデータを入出力することによって共有してもよい。また、注文受付システムが３台以上の注文受付装置を備える場合には、同図（Ｂ）に示すように、データを保存するサーバを設け、それぞれの注文受付装置から通信回線を通してサーバにアクセスして、データを送受信することによって共有してもよい。

さらに、本発明に係る画像処理装置は、注文受付装置およびプリントの出力（例えば、印刷）に限定されるものではなく、右視点画像および左視点画像、もしくは複数視点画像に基づく画像を表示装置上に表示し、ユーザが出力したい必須出力領域の情報を受け取って、これを表示装置上に表示された画像に表示し、右視点画像および左視点画像、もしくは複数視点画像、ならびに、必須出力領域の情報を出力することができるものであればよい。本発明の画像処理装置は、例えば、パーソナルコンピュータやカメラ等によって実現することができる。

また、本発明に係る画像処理システムも、注文受付システムおよびプリント出力に限定されるものではなく、本発明に係る複数の画像処理装置を組み合わせて構成されるものである。例えば、２台の画像処理装置として、カメラとパーソナルコンピュータとを組合せ、外出時にカメラで撮影した画像データに対して、カメラ上で必須プリント領域を指定し、そのデータを自宅のパーソナルコンピュータに転送して立体画像を合成し、３Ｄ対応のプリンタでプリント作業を行わせることもできる。

本発明は、基本的に以上のようなものである。
以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０、５０、５４、５６ 表示画面
１２ 画像一覧表示部
１４ 選択画像表示部
１６ 操作ボタン表示部
１８、２２、６０ 表示ウィンドウ
２０ サムネイル画像
２４ 選択画像
２６、２８，３０、３２、３４、３６、３８、４０、５２ 操作ボタン
４２ 必須プリント領域
４４ 合成不可領域
４６ 視差量調整可能範囲
４８ プリント領域
５８ プリントイメージ表示部
６２ 注文受付装置
６４ 制御装置
６６ 入力装置
６８ 表示装置
７０ 記憶装置
７２ 読取装置
７４ 視差マップ生成装置
７６ 人物検出装置
７８ 画像生成装置
８０ 送信装置
８２ 信号線

本発明に係る注文受付装置の内部構成を表す一実施形態のブロック図である。 表示装置の表示画面の様子を表す一例の概念図である。 選択画像の一例の概念図である。 （Ａ）および（Ｂ）は、選択画像の別の例の概念図である。 注文者が立体画像の写真プリントを注文するときの動作を説明するための概念図である。 （Ａ）および（Ｂ）は、選択画像に自動で必須プリント領域を表示した様子を表す概念図である。 右視点画像および左視点画像と立体画像との関係を表す概念図である。 選択画像の右端まで延びる必須プリント領域が指定された様子を表す概念図である。 必須プリント領域と合成不可領域との関係を表す概念図である。 右視点画像に合成不可領域を重ね合わせて表示した様子を表す概念図である。 左視点画像に合成不可領域を重ね合わせて表示した様子を表す概念図である。 合成可能範囲内でのみ必須プリント領域を指定可能なように制限した様子を表す概念図である。 立体画像に合成不可領域を重ね合わせて表示した様子を表す概念図である。 合成不可領域と合成可能領域との境界の位置を視差調整可能範囲内に設定することを説明するための概念図である。 （Ａ）および（Ｂ）は、合成不可領域と合成可能領域との境界の位置が、選択画像の左右方向の端部から視差調整可能範囲の最小位置までに設定された様子を表す概念図である。 合成不可領域と合成可能領域との境界の位置が、選択画像の左右方向の端部から視差調整可能範囲の最大位置までに設定された様子を表す概念図である。 合成可能領域の範囲が変わることに応じて、プリント領域が変わる様子を説明するための概念図である。 合成不可領域と合成可能領域との境界の位置が変わる様子を表す概念図である。 （Ａ）および（Ｂ）は、プリントサイズが指定された場合に複数のプリントイメージを表示する様子を表す一例の概念図である。 プリントサイズが指定された場合に複数のプリントイメージを表示する様子を表す別の例の概念図である。 プリント領域のアスペクト比と必須プリント領域のアスペクト比との関係を表す一例の概念図である。 プリント領域のアスペクト比と必須プリント領域のアスペクト比との関係を表す別の概念図である。 必須プリント領域と視差調整可能範囲との関係を表す一例の概念図である。 必須プリント領域と視差調整可能範囲との関係を表す別の例の概念図である。 （Ａ）および（Ｂ）は、いずれも本発明に係る注文受付システムの構成を表す一実施形態のブロック図である。

ここで、図７に示すように、適切な３Ｄ画像を合成することが可能な右視点画像（同図左部参照）と左視点画像（同図右部参照）との間（もしくは複数視点画像のうちの２つの画像の間）の視差調整可能範囲４６（同図下部の３Ｄ画像参照）は、所定のある一定範囲であり、視差量が大きすぎても小さすぎても３Ｄ画像は破綻する。しかしながら、場合によっては、注文者によって、３Ｄ画像を合成することができない範囲（つまり、合成不可領域）が必須プリント領域として指定されてしまう場合がある。

一方、図１６に示すように、合成不可領域４４と合成可能領域との境界の位置が、選択画像２４の左右方向の端部から視差調整可能範囲４６の最大位置までに設定された場合、注文者が必須プリント領域４２を指定することができる範囲は狭くなるが、ラボのオペレータは視差調整可能範囲４６内で視差量を自由に調整することができる。

この問題に対応するために、本実施形態の注文受付装置６２では、入力装置６６を介してプリントサイズを入力し、図１８に示すように、視差調整可能範囲内で変わる合成不可領域４４の範囲に合わせて、画像生成装置７８により、指定された写真プリントのプリントサイズのものであって、必須プリント領域４２を含み、写真プリントに再生されるプリント領域４８が異なる複数のプリントイメージを、右視点画像および左視点画像から生成する。そして、制御装置６４により、プリント領域４８が異なる複数のプリントイメージを表示画面１０に表示させる。

ここで、視差量が調整されて、合成不可領域４４の左右方向の範囲が次第に大きくなる、つまり、合成可能領域の左右方向の範囲が次第に小さくなる場合について考える。この場合、プリント領域４８の左右方向の端部が合成不可領域４４の対応する左右方向の端部に接し、かつ、プリント領域４８のアスペクト比を保持した状態でプリント領域４８のサイズが次第に小さくなるものとする。

図２１に示すように、必須プリント領域４２のアスペクト比がプリント領域４８のアスペクト比以上である場合には、プリント領域４８の左右方向の端部が必須プリント領域４２の左右方向の端部と一致した状態で、プリント領域４８の上下方向の端部が必須プリント領域４２の上下方向の端部以上となるため、つまり、プリント領域４８内に必須プリント領域４２が含まれるため問題はない。

これに対して、図２２に示すように、必須プリント領域４２のアスペクト比がプリント領域４８のアスペクト比よりも小さい場合には、プリント領域４８の左右方向の端部が必須プリント領域４２の左右方向の端部と一致した状態で、プリント領域４８の上下方向の端部が必須プリント領域４２の上下方向の端部よりも小さくなる、つまり、プリント領域４８内に必須プリント領域４２の一部が含まれなくなる場合がある。この場合には、制御装置６４により、プリント領域４８を９０°回転し、アスペクト比を保持した状態で、プリント領域４８の回転後の左右方向の端部が合成不可領域４４の対応する左右方向の端部に接するようにサイズを拡大し、プリント領域４８の上下方向の端部が必須プリント領域４２の上下方向の端部以上の大きさになるようにすればよい。

また、必須プリント領域４２が視差調整可能範囲４６内にあるかどうかによってもプリントイメージは変わってくる。

例えば、図２３に示すように、必須プリント領域４２が視差調整可能範囲４６内にない場合には、視差量を調整可能な最大位置まで調整したとしても。必須プリント領域４２と合成不可領域４４とが重なり合うことはないので問題はない。

これに対し、図２４に示すように、必須プリント領域４２が視差調整可能範囲４６内にある場合には、例えば、視差量を調整可能な最大位置まで調整した場合に、必須プリント領域４２と合成不可領域４４とが必ず重なり合ってしまい、３Ｄ画像を合成することができない。つまり、この場合には、視差調整可能範囲４６の全範囲にわたって視差量を調整することはできない。従って、プリントイメージの候補を、必須プリント領域４２と合成不可領域４４とが重なり合わないものだけに制限する。これにより、写真プリントとして作成することができるプリントイメージだけを表示することができる。

１０、５０、５４、５６ 表示画面
１２ 画像一覧表示部
１４ 選択画像表示部
１６ 操作ボタン表示部
１８、２２、６０ 表示ウィンドウ
２０ サムネイル画像
２４ 選択画像
２６、２８，３０、３２、３４、３６、３８、４０、５２ 操作ボタン
４２ 必須プリント領域
４４ 合成不可領域
４６ 視差調整可能範囲
４８ プリント領域
５８ プリントイメージ表示部
６２ 注文受付装置
６４ 制御装置
６６ 入力装置
６８ 表示装置
７０ 記憶装置
７２ 読取装置
７４ 視差マップ生成装置
７６ 人物検出装置
７８ 画像生成装置
８０ 送信装置
８２ 信号線

Claims (19)

1. 視差のある右視点画像および左視点画像、もしくは複数視点画像を処理する画像処理装置であって、
   前記右視点画像および左視点画像、もしくは複数視点画像を基にして、ユーザが前記右視点画像および左視点画像、もしくは複数視点画像から合成される立体画像に出力したい必須出力領域を指定するための画像を表示する表示手段と、
   前記ユーザにより前記表示手段に表示された画像を参照して指定される、前記必須出力領域の情報を入力するための入力手段と、
   前記必須出力領域を、前記表示手段に表示された画像に表示させる制御手段と、
   前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を出力する出力手段とを備えることを特徴とする画像処理装置。
2. さらに、前記右視点画像および左視点画像、もしくは複数視点画像のうちの２つの画像の対応画素の視差を可視化した視差マップを生成する視差マップ生成手段を備え、
   前記表示手段は、前記必須出力領域を指定するための画像として、前記視差マップを前記視差に応じて疑似カラーもしくはグレースケール表示するものである請求項１に記載の画像処理装置。
3. さらに、前記右視点画像および左視点画像、もしくは複数視点画像から立体画像を合成する立体画像合成手段を備え、
   前記表示手段は、前記必須出力領域を指定するための画像として、前記立体画像合成手段により合成された立体画像を表示するものである請求項１に記載の画像処理装置。
4. 前記表示手段は、前記右視点画像および左視点画像を処理する場合に、前記必須出力領域を指定するための画像として、前記右視点画像および左視点画像の両方を同時に表示するものであり、
   前記入力手段は、前記ユーザにより前記表示手段に表示された右視点画像もしくは左視点画像を参照して指定される、前記必須出力領域の情報を入力するものである請求項１に記載の画像処理装置。
5. 前記表示手段は、前記必須出力領域を指定するための画像として、前記ユーザにより指定される、前記右視点画像、左視点画像、もしくは、複数視点画像のうちのいずれか１つの画像を表示するものである請求項１に記載の画像処理装置。
6. 前記制御手段は、さらに、前記右視点画像および左視点画像、もしくは複数視点画像から立体画像を合成する時の、前記右視差画像および左視差画像、もしくは複数視点画像のうちの２つの画像の間の視差量に応じて、前記立体画像を出力することができない合成不可領域を、前記表示手段に表示された画像に表示させるものである請求項１〜５のいずれかに記載の画像処理装置。
7. 前記制御手段は、前記ユーザが、前記必須出力領域を指定する時に、前記合成不可領域ではない合成可能領域内でのみ該必須出力領域を指定することができるように制限するものである請求項６に記載の画像処理装置。
8. 前記制御手段は、前記必須出力領域と前記合成不可領域とが重なり合うように指定された場合に、該必須出力領域と該合成不可領域とが重なり合っている旨の警告を発するものである請求項６に記載の画像処理装置。
9. 前記制御手段は、前記ユーザにより前記入力手段を介して入力される、視差調整可能範囲内の設定位置に応じて、前記合成不可領域の範囲を設定するものである請求項６〜８のいずれかに記載の画像処理装置。
10. さらに、前記表示手段に表示された画像に含まれる人物を検出する人物検出手段を備え、
    前記制御手段は、前記人物検出手段によって検出された人物が前記合成不可領域に含まれないように前記合成不可領域の範囲を設定するものである請求項６〜８のいずれかに記載の画像処理装置。
11. さらに、前記表示手段に表示された画像に含まれる人物を検出する人物検出手段を備え、
    前記制御手段は、前記視差マップから画像全体の飛び出し量をチェックし、前記人物検出手段によって検出された人物の飛び出し量が最も大きくなるように、前記必須出力領域を自動で設定して前記表示手段に表示させるものである請求項２に記載の画像処理装置。
12. さらに、前記入力手段を介して入力される出力サイズのものであって、前記必須出力領域を含み、前記立体画像の出力領域が異なる複数の出力イメージを生成する画像生成手段を備え、
    前記制御手段は、前記出力領域が異なる複数の出力イメージを前記表示手段に表示させるものである請求項１〜１１のいずれかに記載の画像処理装置。
13. 前記制御手段は、前記合成不可領域の左右方向の範囲が大きくなるに従って、前記出力領域の左右方向の端部が前記合成不可領域の対応する左右方向の端部に接し、かつ、該出力領域のアスペクト比を保持した状態で該出力領域のサイズが小さくなる場合に、該出力領域の上下方向の端部が前記必須出力領域の上下方向の端部よりも小さくなる出力イメージについて、前記出力領域を９０°回転し、前記アスペクト比を保持した状態で、前記出力領域の回転後の左右方向の端部が前記合成不可領域の対応する左右方向の端部に接するように該出力領域を拡大し、該出力領域の回転後の上下方向の端部が前記必須出力領域の上下方向の端部以上の大きさになるようにするものである請求項１２に記載の画像処理装置。
14. 前記制御手段は、前記必須出力領域が前記視差調整可能範囲に重なって指定された場合、該必須出力領域と前記合成不可領域とが重なり合う出力イメージを前記表示装置に表示させないものである請求項１２に記載の画像処理装置。
15. 請求項１〜１４のいずれかに記載の第１および第２の画像処理装置を備え、
    前記第２の画像処理装置は、さらに、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を受け取るための受取手段を備え、
    前記第１の画像処理装置の出力手段は、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を出力するものであり、
    前記第２の画像処理装置の受取手段は、前記第１の画像処理装置から出力される右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を受け取るものであることを特徴とする画像処理システム。
16. 前記第２の画像処理装置の制御手段は、前記第１の画像処理装置から受け取った必須出力領域を、該第２の画像処理装置の表示手段に表示された画像に表示させるものである請求項１５に記載の画像処理システム。
17. さらに、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報から立体画像を合成して該立体画像のプリントを作成するラボを備える請求項１５または１６に記載の画像処理システム。
18. 視差のある右視点画像および左視点画像、もしくは複数視点画像を処理する画像処理方法であって、
    前記右視点画像および左視点画像、もしくは複数視点画像を基にして、ユーザが前記右視点画像および左視点画像、もしくは複数視点画像から合成される立体画像に出力したい必須出力領域を指定するための画像を表示手段に表示し、
    前記ユーザにより前記表示手段に表示された画像を参照して指定される、前記必須出力領域の情報を入力手段を介して入力し、
    制御手段により、前記必須出力領域を、前記表示手段に表示された画像に表示させ、
    出力手段により、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を出力することを特徴とする画像処理方法。
19. 請求項１〜１４のいずれかに記載の第１および第２の画像処理装置を備え、
    前記第２の画像処理装置は、さらに、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を受け取るための受取手段を備える画像処理システムで適用される画像処理方法であって、
    前記第１の画像処理装置の出力手段が、前記右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を出力し、
    前記第２の画像処理装置の受取手段が、前記第１の画像処理装置から出力される右視点画像および左視点画像、もしくは複数視点画像、ならびに、前記必須出力領域の情報を受け取ることを特徴とする画像処理方法。

Images