JP2013149300A - 距離情報補正装置、画像生成装置、距離情報補正方法、及び、プログラム - Google Patents

Abstract

【課題】被写体が３次元表示に適さないものであっても、視認性の高い３次元画像を取得すること。
【解決手段】被写体の特徴点情報とその距離情報とを対応付けた点群情報に含まれる距離情報のうち、特定の距離情報よりも大きい距離範囲に属する距離情報が小さくなるように補正する。そして、このようにして補正された点群情報を用いて３次元画像を生成する。このようにすれば、主要被写体と背景被写体との距離が大きい場合であっても、点群情報における主要被写体と背景被写体との距離情報が小さくなる。これにより、補正された点群情報を用いて生成される３次元画像においては、３次元画像を構成する三角形ポリゴンがいびつな形状となることを回避できる。その結果、視認性の高い３次元画像を得ることができる。
【選択図】 図９

Description

本発明は、被写体の３次元画像情報を生成する技術に関し、特に視認性の高い３次元画像を生成する技術に関するものである。

従来、ステレオカメラで撮影された２枚の撮影画像の視差を計測することにより被写体の距離情報を認識するというステレオ法を利用して、被写体像を３次元画像として再現する技術が知られている。

しかし、この従来技術では、３次元的画像を構成する三角形ポリゴンの大きさが被写体像上の各点間の距離情報に影響されるため、３次元画像の視認性が低下してしまう場合がある。例えば、被写体間の距離が大きい場合には、図２２に示されるように、カメラの手前に位置していた被写体の像が極端に小さくなってしまう等、３次元画像の視認性が低下してしまう。

ここで、特許文献１には、３次元画像を表示する際に、被写体距離が近すぎる場合や遠すぎる場合、つまり撮影した画像が３次元表示に適さない場合には、表示する画像を３次元画像から２次元画像へと変更する技術が記載されている。特許文献１記載の技術によれば、撮影された画像を常に最適な形態で表示することができる。

特開平２００５−１６７３１０号公報

しかしながら、特許文献１記載の技術では、撮影した画像が３次元表示に適さないことにより表示される画像が２次元画像に完全に変更されてしまう場合には、ユーザは被写体像の様子を３次元的に確認できないという問題があった。

そこで、本発明は、被写体が３次元表示に適さないものであっても、視認性の高い３次元画像を取得することを目的とする。

前記目的を達成するため、請求項１の発明にあっては、被写体の複数の点情報と当該複数の点情報の各距離情報との対応関係を示す点群情報に対して、前記各距離情報のうち特定の距離情報よりも大きい距離範囲に属する各距離情報を小さくする補正を行う補正手段と、前記補正手段により補正された点群情報に基づき、３次元画像を表現するための画像情報を生成する画像情報生成手段と、前記画像情報生成手段により生成された画像情報に基づく３次元画像を表示する表示手段とを備えるものとした。

請求項２の発明にあっては、同じ距離情報に対応する前記被写体の点群情報の個数情報と前記各距離情報との対応関係を示す対応情報を生成する対応情報生成手段を備え、前記補正手段は、前記対応情報生成手段により生成された対応情報に含まれる各距離情報の中で略最小となる複数の前記個数情報に対応する各距離情報のうち、２番目に小さい距離情報を前記特定の距離情報として検出する検出手段と、前記点群情報に含まれる各距離情報のうち、前記検出手段により検出された特定の距離情報よりも大きい距離範囲に属する各距離情報を小さくする補正を行う第１の距離情報補正手段と、を備えるものとした。

請求項３の発明にあっては、前記第１の距離情報補正手段は、前記点群情報に含まれる各距離情報のうち、前記検出手段により検出された特定の距離情報よりも大きい距離範囲に属する距離情報の全てを、前記特定の距離情報へと補正するものとした。

請求項４の発明にあっては、前記補正手段は、前記対応情報生成手段により生成された対応情報に含まれる各距離情報において略最小となる複数の前記個数情報に対応する各距離情報にうち、最も小さい２つの距離情報により規定される距離範囲を、３次元表示距離範囲として設定する設定手段と、前記設定手段により設定された３次元表示距離範囲が小さくなるように、前記点群情報における前記３次元表示距離範囲に属する各距離情報を補正する第２の距離情報補正手段と、を備えるものとした。

請求項５の発明にあっては、前記補正手段は、前記点群情報に含まれる各距離情報のうち、焦点の合った被写体領域までの距離情報に応じた距離情報である前記特定の距離情報よりも大きい距離範囲に属する各距離情報を小さくする補正を行う第１の距離情報補正手段を備えるものとした。

請求項６の発明にあっては、前記第１の距離情報補正手段は、前記点群情報に含まれる各距離情報のうち、前記特定の距離情報よりも大きい距離範囲に属する距離情報の全てを、前記特定の距離情報へと補正するものとした。

請求項７の発明にあっては、前記補正手段は、焦点の合った被写体領域までの距離情報に応じた距離範囲を３次元表示距離範囲として設定する設定手段と、前記設定手段により設定された３次元表示距離範囲が小さくなるように、前記点群情報における前記３次元表示距離範囲に属する各距離情報を補正する第２の距離情報補正手段と、を備えるものとした。

請求項８の発明にあっては、前記補正手段は、前記点群情報に含まれる各距離情報のうち、被写界深度が存在する位置に応じた距離情報である前記特定の距離情報よりも大きい距離範囲に属する各距離情報を小さくする補正を行う第１の距離情報補正手段を備えるものとした。

請求項９の発明にあっては、前記第１の距離情報補正手段は、前記点群情報に含まれる各距離情報のうち、前記特定の距離情報よりも大きい距離範囲に属する距離情報の全てを、前記特定の距離情報へと補正するものとした。

請求項１０の発明にあっては、前記補正手段は、被写体深度の位置に対応する距離範囲を３次元表示距離範囲として設定する設定手段と、前記設定手段により設定された３次元表示距離範囲が小さくなるように、前記点群情報における前記３次元表示距離範囲に属する各距離情報を補正する第２の距離情報補正手段と、を備えるものとした。

請求項１１の発明にあっては、前記第１の補正手段は、前記第１の点群情報に含まれる各距離情報のうち、ユーザの操作に基づく距離情報である前記特定の距離情報よりも大きい距離範囲に属する各距離情報を小さくする補正を行う第１の距離情報補正手段を備えるものとした。

請求項１２の発明にあっては、前記第１の距離情報補正手段は、前記第１の点群情報に含まれる各距離情報のうち、前記特定の距離情報よりも大きい距離範囲に属する距離情報の全てを、前記特定の補正情報へと補正するものとした。

請求項１３の発明にあっては、コンピュータを、被写体の複数の点情報と当該複数の点情報の各距離情報との対応関係を示す第１の点群情報に対して、前記各距離情報のうち特定の距離情報よりも大きい距離範囲に属する各距離情報を小さくする補正を行うことにより、前記第１の点群情報から第２の点群情報を生成する補正手段、前記第１の補正手段により生成された第２の距離情報に基づき、３次元画像情報を生成する画像情報生成手段、前記画像情報生成手段により生成された画像情報に基づく３次元画像を表示画面に表示させる表示制御手段、として機能させるものとした。

本発明によれば、被写体が３次元表示に適さないものであっても、視認性の高い３次元画像を取得できる。

本実施形態に係るデジタルカメラ１の外観図である。 デジタルカメラ１の電気的構成を示すブロック図である。 撮影モードの処理内容を示すフローチャートである。 図４（Ａ）はデジタルカメラ１と各被写体とを上方から見た図である。図４（Ｂ）はデジタルカメラ１が捉えることができる被写体像の様子を示す図である。 図５（Ａ）はＣＣＤ６Ａにより撮影された撮影画像を示す図である。図５（Ｂ）はＣＣＤ６Ｂにより撮影された撮影画像を示す図である。 ステレオ法の原理を説明するための概念図である。 本実施形態に係る距離情報算出処理の処理内容を示す図である。 被写体の特徴点情報とその座標情報とを対応付けた点群情報８１の様子を示す図である。 第１の実施形態に係る距離情報補正処理の内容を示す図である。 図１０（Ａ）は特徴点の分布図を示す図である。図１０（Ｂ）は補正後の特徴点の分布図を示す図である。図１０（Ｃ）は補正後の特徴点の分布図を示す図である。図１０（Ｄ）は変形例の補正による特徴点の分布図を示す図である。 図１１（Ａ）はステップＳＣ４の処理により補正された点群情報８２の様子を示す図である。図１１（Ｂ）はステップＳＣ７の処理により補正された点群情報８３の様子を示す図である。 ステップＳＣ４の処理による撮影環境の仮想的な変化を示す概念図である。 本実施形態に係る再生モードの処理内容を示す図である。 第１の実施形態において生成される３次元画像の例を示す図である。 第２の実施形態に係る距離情報補正処理の内容を示す図である。 図１６（Ａ）は特徴点の分布図を示す図である。図１６（Ｂ）は補正後の特徴点の分布図を示す図である。図１６（Ｃ）は補正後の特徴点の分布図を示す図である。図１６（Ｄ）は変形例の補正による特徴点の分布図を示す図である。 第３の実施形態に係る距離情報補正処理の内容を示す図である。 図１８（Ａ）は特徴点の分布図を示す図である。図１８（Ｂ）は補正後の特徴点の分布図を示す図である。図１８（Ｃ）は補正後の特徴点の分布図を示す図である。図１８（Ｄ）は変形例の補正による特徴点の分布図を示す図である。 第４の実施形態に係る距離情報補正処理の内容を示す図である。 背景集約距離の設定画面を示す図である。 ステップＳＧ３の処理により補正された点群情報８４の様子を示す図である。 従来技術により生成される３次元画像の例を示す図である。

＜第１の実施形態＞
以下、図面を参照して本発明の第１の実施形態を説明する。

図１は本実施形態に係るデジタルカメラ１の外観図である。デジタルカメラ１の本体２の上面には、シャッタキー４が設けられている。デジタルカメラ１の本体２の前面には、光学レンズ装置５Ａと光学レンズ装置５Ｂとが設けられている。

シャッタキー４は、いわゆる半押し機能を備えたものであり、ピント合わせのための半押し操作と撮影指示（撮影画像データの記録指示）のための全押し操作とが可能な構成である。

光学レンズ装置５Ａと光学レンズ装置５Ｂとは、光学レンズ装置５Ａの光軸と光学レンズ装置５Ｂの光軸とが距離ｇ（ｍｍ）だけ離れるように配置されている。

図２はデジタルカメラ１の各部分の機能を示すブロック図である。図２を参照してデジタルカメラ１の電気的構成を説明する。

デジタルカメラ１は装置全体を制御するＣＰＵ８を中心として構成されている。ＣＰＵ８には光学レンズ装置５Ａと光学レンズ装置５Ｂとが接続されている。光学レンズ装置５ＡにはＣＣＤ６Ａが接続されている。光学レンズ装置５ＢにはＣＣＤ６Ｂが接続されている。ＣＣＤ６ＡとＣＣＤ６Ｂには画像処理部７が接続されている。ＣＰＵ８には、画像処理部７とメモリカード９と、ＤＲＡＭ１０と、フラッシュメモリ１１と、表示部１２と、キーブロック１３とが接続されている。

光学レンズ装置５Ａと光学レンズ装置５Ｂとは、それぞれが被写体の光像を結像する装置である。光学レンズ装置５Ａと光学レンズ装置５Ｂとは、それぞれが不図示のフォーカスレンズ及びズームレンズとからなる撮影レンズと、これら撮影レンズを駆動する不図示の駆動機構とで構成されている。光学レンズ装置５Ａの光軸と光学レンズ装置５Ｂの光軸とは平行となっている。光学レンズ装置５Ａの構成と光学レンズ装置５Ｂの構成とは同一である。そのため、光学レンズ装置５Ａと光学レンズ装置５Ｂの焦点距離はそれぞれｆ（ｍｍ）である。

ＣＣＤ６Ａは、光学レンズ装置５Ａにて結像された被写体の光像を光電変換して撮像信号を生成する撮像素子である。ＣＣＤ６Ａは、ＣＣＤ６Ａの撮像面の中心が光学レンズ装置５Ａの光軸上にあるように配置されている。ＣＣＤ６Ｂは、光学レンズ装置５Ｂにて結像された被写体の光像を光電変換して撮像信号を生成する撮像素子である。ＣＣＤ６Ｂは、ＣＣＤ６Ｂの撮像面の中心が光学レンズ装置５Ｂの光軸上にあるように配置されている。ＣＣＤ６Ａの構成とＣＣＤ６Ｂの構成とは同一である。

画像処理部７は、ＣＣＤ６ＡとＣＣＤ６Ｂとによりそれぞれ生成された撮像信号をサンプリングしてノイズを除去しデジタル信号に変換する。画像処理部７は、デジタル信号に変換された撮像信号に対し輝度信号処理等のデータ処理を行う。画像処理部７は、輝度信号処理等が行われたデジタル信号に対して色分離等の色処理を行い、Ｙ（輝度信号），Ｃｂ（青色差信号），Ｃｒ（赤色差信号）の撮影画像データを生成する。また、画像処理部７は、撮影画像データの圧縮、及び圧縮されている撮影画像データの伸長などの各種画像処理を行う。

ＣＰＵ（中央処理装置）８はデジタルカメラ１の全体制御を行う。ＣＰＵ８はフラッシュメモリ９に格納されたプログラムとの協働で、ＤＲＡＭ１０を作業用メモリとして動作する。

フラッシュメモリ９には、ＣＰＵ１３によるデジタルカメラ１のＡＦ制御、ＡＥ制御等に必要なプログラムとデータが格納されている。フラッシュメモリ９には、後述するフローチャートに示す制御を実行するためのプログラムやデータ（上記の距離ｇや焦点距離ｆや許容錯乱円の直径ｃの情報など）が格納されている。また、フラッシュメモリ９には撮影画像データを記録することもできる。

ＤＲＡＭ１０は、順次撮影される撮影画像データを一時的に記憶するバッファメモリとして使用される。ＤＲＡＭ１０は、ＣＰＵ１０が処理を実行するに際し作業用メモリとしても使用される。

メモリカード１１は、撮影指示がなされる度に、ＣＣＤ６ＡとＣＣＤ６Ｂとにより撮影された被写体像信号から生成された撮影画像データがそれぞれ記録される記録媒体である。メモリカード１１はデジタルカメラ１の本体２に着脱自在に接続されている。

表示部１２は、不図示の液晶ディスプレイとその駆動回路とで構成されている。デジタルカメラ１が撮影待機状態にあるときには、ＣＣＤ６Ａによって撮像された被写体像をライブビュー画像として液晶ディスプレイに表示する。また、表示部１２は、デジタルカメラ１が撮影画像データを再生するときには、メモリカード１１から読み出された撮影画像データに基づく画像を液晶ディスプレイに表示する。また、表示部１２は、タッチパネルの機能も備えている。

キーブロック１３は、シャッタキー４や不図示のモードキー、ＳＥＴキー、十字キー、撮影モード選択キー等の複数の操作キーから構成される。キーブロック１３は、ユーザのキー操作に応じた操作信号をＣＰＵ８へと送る。

図３を参照して、デジタルカメラ１の本実施形態に係る動作を説明する。ユーザがキーブロック１３に対する所定の操作により撮影モードを設定すると、ＣＰＵ８は、フラッシュメモリ９から読み出してＤＲＡＭ１０に展開したプログラムとの協働により、図３のフローチャートに示される撮影モードの処理を実行する。

図４を参照して本実施形態における撮影状況を説明する。図４（Ａ）は、デジタルカメラ１と各被写体とを上方から見た図である。図４（Ａ）に示されるように、本実施形態における撮影場所にはデジタルカメラ１と、被写体である人物４１と人物４２と車４３と建物４４とが存在する。デジタルカメラ１に対して近い順に、人物４１、人物４２、車４３、建物４４が並んでいる。図４（Ｂ）には、デジタルカメラ１が捉えることができる被写体像の様子を示されている。

図３に戻り説明を続ける。撮影モードが設定されると、ＣＰＵ８は、ＣＣＤ６Ａから順次撮り込まれＤＲＡＭ１０に順次蓄積された撮影画像データを表示部１２にライブビュー画像を表示する処理を開始する（ステップＳＡ１）。

そして、ＣＰＵ８は、シャッタキー４が半押しされたか否かを判断すべく待機状態になる（ステップＳＡ２）。この状態において、ＣＰＵ８は、シャッタキー４が半押しされたことを検知しない場合（ステップＳＡ２；ＮＯ）、ステップＳ１へと処理を戻し、ライブビュー画像を表示させ続ける。一方、ユーザによりシャッタキー４が半押しされると、ＣＰＵ８はこの半押し操作に応じた操作信号を検知することにより、シャッタキー４が半押しされたと判断する（ステップＳＡ２；ＹＥＳ）。

すると、ＣＰＵ８は、直ちに通常のＡＦ制御によりフォーカス調整を行う。すなわち、ＣＰＵ８は、ＣＣＤ６ＡとＣＣＤ６Ｂのそれぞれの撮影範囲内における中央領域のフォーカスエリアを対象としたピント合わせを実行するとともに、通常のＡＥ制御（いわゆるプログラムＡＥ制御）によりＩＳＯ感度とシャッタ速度とを調整する（ステップＳＡ３）。

しかる後、ＣＰＵ８は、シャッタキー４が全押しされたか否かを判断すべく待機状態になる（ステップＳＡ４）。この状態において、ＣＰＵ８は、シャッタキー４が全押しされたことを検知しない場合（ステップＳＡ４；ＮＯ）、待機状態のままとなる。一方、ユーザによりシャッタキー４が全押しされると、ＣＰＵ８は、この全押し操作に応じた操作信号を検知することによりシャッタキー４が全押しされたと判断する（ステップＳＡ４；ＹＥＳ）。

すると、ＣＰＵ８は、ＣＣＤ６ＡとＣＣＤ６Ｂとにそれぞれに蓄積されている被写体像信号に対し直ちに撮影処理を実行して２枚の撮影画像データ５０Ａ，５０Ｂを生成し、生成した２枚の撮影画像データ５０Ａ，５０ＢをそれぞれＪＰＥＧ方式で圧縮させる（ステップＳＡ５）。

図５（Ａ）に撮影画像データ５０Ａにより表現される撮影画像（ＣＣＤ６Ａにより撮影された撮影画像）が示されている。図５（Ｂ）に撮影画像データ５０Ｂにより表現される撮影画像（ＣＣＤ６Ｂにより撮影された撮影画像）が示されている。

これら２つの撮影画像はそれぞれ光学レンズ装置５Ａと光学レンズ装置５Ｂとによりそれぞれ取り込まれた被写体像であるため視差が生じている。そのため、図５（Ａ）に示される撮影画像における各被写体の位置関係と、図５（Ｂ）に示される撮影画像における各被写体の位置関係とが異なっている。

図３に戻り、ＣＰＵ８は、２枚の撮影画像データ５０Ａ，５０Ｂのそれぞれについてヘッダデータを生成し、ヘッダデータ及び圧縮された撮影画像データからなる画像ファイルを２つ生成し、生成した２つの画像ファイルをメモリカード１１に一旦記録させる（ステップＳＡ６）。

次に、ＣＰＵ８は、距離情報算出処理（ステップＳＡ７）、距離情報補正処理（ステップＳＡ８）を行い、撮影モードの処理を終了させる。ステップＳＡ７における距離情報算出処理の詳細と、ステップＳＡ８における距離情報補正処理の詳細とは後述する。

図６を参照して、ステップＳＡ７における距離情報算出処理の際に利用するステレオ法の原理を説明する。ステレオ法とは、２台以上のカメラで被写体を撮影し、三角測量の原理を用いて各画像に写る被写体の位置の違いから３次元情報を得るための周知の方法である。図６はステレオ法の原理を説明するための概念図である。

図６において、ＯＡは実空間においてＣＣＤ６Ａの撮像面（受光面）の中心が存在する位置である。ＯＢは実空間においてＣＣＤ６Ｂの撮像面（受光面）の中心が存在する位置である。ＺＡは光学レンズ装置５Ａの光軸であり、ＺＢは光学レンズ装置５Ｂの光軸である。前述の通り、光軸ＺＡと光軸ＺＢとは平行であり、これらは距離ｇ（ｍｍ）だけ離れている。

座標面ＣＡはＣＣＤ６Ａの撮像面上の座標を規定するものである。座標面ＣＡは光軸ＺＡと直交しており、座標面ＣＡの原点ＯＡは光軸ＺＡ上に配置されている。座標面ＣＡは、水平方向を示すｕ軸と垂直方向を示すｖ軸とにより規定される。座標面ＣＡ上の任意の座標を（u，ｖ）とする。

座標面ＣＢはＣＣＤ６Ｂの撮像面上の座標を規定するものである。座標面ＣＢは光軸ＺＢと直交しており、座標面ＣＢの原点ＯＢは光軸ＺＢ上に配置されている。座標面ＣＢは水平方向を示すｕ’軸と垂直方向を示すｖ’軸とにより規定される。座標面ＣＢ上の任意の座標を（ｕ’，ｖ’）とする。

いま、図６に示されるように、ＣＣＤ６Ａ，ＣＣＤ６Ｂから離れた地点に被写体６０がいる場合を考える。実空間における被写体６０の位置の座標を（Ｘ，Ｙ，Ｚ）とする。そして、被写体６０からの光像６１，６１が、座標面ＣＡ上の座標（u，ｖ）で示される位置６２ＡにおいてＣＣＤ６Ａにより受光され、座標面ＣＢ上の座標（ｕ’，ｖ’）で示される位置６２ＢにおいてＣＣＤ６Ｂにより受光されるものとする。

すると、実空間における被写体６０の座標（Ｘ，Ｙ，Ｚ）の各値は、それぞれ下記式（１）により示されることが知られている。但し、下記式（１）において、ｇは上述の光軸ＺＡと光軸ＺＢとの間の距離であり、ｆは光学レンズ装置５Ａ（光学レンズ装置５Ｂ）の焦点距離である。
Ｘ＝ｇ・ｕ／（ｕ−ｕ’）
Ｙ＝ｇ・ｖ／（ｕ−ｕ’） （１）
Ｚ＝ｇ・ｆ／（ｕ−ｕ’）

このようにして、２つのＣＣＤ６Ａ，６Ｂによりそれぞれ撮影される２つの画像に写る被写体の位置の違いから被写体の３次元情報を得る方法がステレオ法である。

次に、図７に示されるフローチャートを参照して、ステップＳＡ７の距離情報算出処理の詳細な内容を説明する。本実施形態では、ステップＳＡ７の処理において、上述のステレオ法の原理を利用して撮影時における被写体とデジタルカメラ１との距離を算出する。

ステップＳＡ６の処理の後、ＣＰＵ８は、メモリカードに記録された撮影画像データ５０Ａと撮影画像データ５０Ｂとを読み出し、読み出したこれら撮影画像データをＤＲＡＭ１０に保持させる（ステップＳＢ１）。

次に、ＣＰＵ８は、ＤＲＡＭ１０上に保持された撮影画像データ５０Ａにより表現される撮影画像（図５（Ａ）に示される撮影画像）における全ての特徴点を検出し、検出した特徴点を表現する画像データをＤＲＡＭ１０に保持させる（ステップＳＢ２）。ここで、特徴点とは、周囲の領域に比べて色や輝度が大きく他の領域と識別できる領域である。例えば、撮影画像に写る人物の目や口の領域が特徴点となる。

次に、ＣＰＵ８は、撮影画像データ５０Ａにより表現される撮影画像から検出された全ての特徴点の中から、１度も指定されていない特徴点を１つ指定する（ステップＳＢ３）。

次に、ＣＰＵ８は、ステップＳＢ３の処理において指定された特徴点の画像データ５０Ａ上の座標（u，ｖ）を特定し、特定した特徴点の座標をＤＲＡＭ１０に保持させる（ステップＳＢ４）。

次に、ＣＰＵ８は、ステップＳＢ４の処理において特定された特徴点の座標（u，ｖ）に対応する、撮影画像データ５０Ｂ上の特徴点（対応点）を検出する（ステップＳＢ５）。具体的には、ＣＰＵ８は、ステップＳＢ３の処理において指定された特徴点を表現する画像データをテンプレート画像として抽出する。そして、ＣＰＵ８は、撮影画像データ５０Ｂにおいてこのテンプレート画像を走査させる。ＣＰＵ８は、撮影画像データ５０Ｂとテンプレート画像との相関演算を行い、最も相関性（一致度）が高い領域を、撮影画像データ５０における対応点、つまり撮影画像データ５０Ｂにおける撮影画像データ５０Ａの特徴点に対応する点として検出する。

次に、ＣＰＵ８は、ステップＳＢ５の処理において検出された対応点の座標（ｕ’，ｖ’）を特定し、特定した特徴点の座標をＤＲＡＭ１０に保持させる（ステップＳＢ６）。

次に、ＣＰＵ８は、ステップＳＢ３の処理において指定された特徴点の実空間における座標（Ｘ，Ｙ，Ｚ）を算出する（ステップＳＢ７）。具体的には、ＣＰＵ８は、ＤＲＡＭ１０に保持されている特徴点の座標と対応点の座標の各値u，ｖ、ｕ’，ｖ’と、フラッシュメモリ９に予め記録されている光学レンズ５Ａと光学レンズ装置５Ｂ間の距離情報ｇと焦点距離情報ｆとを用いて、上記式（１）に従い、ステップＳＢ３の処理において指定された特徴点の実空間における座標（Ｘ，Ｙ，Ｚ）を算出する。

次に、ＣＰＵ８は、ステップＳＢ３の処理において指定された特徴点情報とステップＳＢ８の処理において算出された特徴点の座標情報とを対応付けた点群情報８１を、ＤＲＡＭ１０上に保持させておく（ステップＳＢ８）。

次に、ＣＰＵ８は、ステップＳＢ３の処理において１度も指定されていない特徴点があるか否かを判断する（ステップＳＢ９）。ＣＰＵ８は、ステップＳＢ３の処理において１度も指定されていない特徴点があると判断すれば、ステップＳＢ３へ処理を戻す（ステップＳＢ９；ＹＥＳ）。

ステップＳＢ３に処理が戻されると、ＣＰＵ８は、ステップＳＢ３からステップＳＢ８までの各処理をくり返し、指定されていない特徴点の実空間における座標を算出し記録する。このようにして、ＣＰＵ８は、ステップＳＢ２の処理において検出された全ての特徴点に対応する実空間における座標を算出する。

図８に、被写体の特徴点情報とその座標情報とを対応付けた点群情報８１の様子が示されている。図８に示されるように、例えば、人物４１の特徴点１に対応する、Ｘ座標の値は０．０５（ｍ）、Ｙ座標の値は０．１０（ｍ）、Ｚ座標の値は２．００（ｍ）である。

ＣＰＵ８は、全ての特徴点が指定されると、１度も指定されていない特徴点がないと判断して（ステップＳＢ９；ＮＯ）、図７のフローチャートに示される距離情報算出処理を終了させる。

次に、図９に示されるフローチャートを参照して、ステップＳＡ８の距離情報補正処理の詳細な内容を説明する。

ステップＳＡ７の処理の後、ＣＰＵ８は、ＤＲＡＭ１０上に保持されていた点群情報８１を用いて、各距離情報と同じ距離情報に対応する特徴点の個数との対応関係を示す距離別特徴点情報を生成する（ステップＳＣ１）。

本実施形態では、この距離別特徴点情報を生成する際に、ステップＳＡ７の処理において算出された、特徴点の実空間における座標（Ｘ，Ｙ，Ｚ）のうちＺ座標の値を距離情報として用いる。ＣＰＵ８は、各特徴点に対応する距離情報（Ｚ座標の値）を全て特定し、同じ距離情報に対応する特徴点の個数情報を算出する。そして、ＣＰＵ８は、距離情報ごとに算出した特徴点の個数情報を示す点を座標平面にプロットしていくことで、距離別特徴点情報としての特徴点の分布図を生成する。

図１０（Ａ）に、ＣＰＵ８により生成された特徴点の分布図が示されている。図１０（Ａ）に示される特徴点の分布図において、横軸は実空間におけるデジタルカメラ１から被写体の各特徴点の存在領域までの距離を示し、縦軸は各距離において存在する被写体の特徴点の個数を示す。図１０（Ａ）において、縦軸の向きは上方向であり、横軸の向きは右方向である。

図１０（Ａ）の特徴点の分布図には、分布曲線９０（太い実線で示される曲線）が示されている。この分布曲線９０は、プロットされた、各距離情報に対応する特徴点の個数情報を示す点を曲線で結んだものである。

分布曲線９０上には３つの山部分９１，９２，９３が存在する。図１０（Ａ）において、山部分９１は、図４（Ａ）に示されるデジタルカメラ１からの距離が最も短い地点に位置していた人物４１と人物４２との特徴点の存在を示している。山部分９２は、人物４１，４２の次にデジタルカメラ１からの距離が短い地点に位置していた車４３の特徴点の存在を示している。山部分９３は、デジタルカメラ１からの距離が最も遠い地点に位置していた建物４４の特徴点の存在を示している。

また、図４（Ａ）に示されるように、撮影時にはデジタルカメラ１から人物４１までの間には被写体（特徴点）が存在していなかった。そのため、図１０（Ａ）に示されるように、原点から山部分９１（人物４１の特徴点の存在を示す山）までの距離範囲においては、分布曲線９０は存在しない。

同様に図４（Ａ）に示されるように、撮影時には車４３から建物４４までの間には被写体（特徴点）が存在していなかった。そのため、図１０（Ａ）に示されるように、山部分９２と山部分９３との間の範囲においては分布曲線９０の値（特徴点の個数）は全て０となっている。

図９に戻り、ＣＰＵ８は、分布曲線９０の変化開始点を検出する（ステップＳＣ２）。具体的には、まずＣＰＵ８は、分布曲線９０から、各特徴点の個数情報の中で最小値に近い順に、最小値となる個数情報および最小値に近い複数の個数情報を順次特定する。次に、ＣＰＵ８は、特定された各個数情報に対応する距離情報を全て特定する。

本実施形態では、ＣＰＵ８は、各特徴点の個数情報の中で最小値および最小値に近い複数の個数情報に対応する各距離情報としては、分布曲線９０の始点９４に対応する距離情報、山部分９２の終点９５に対応する距離情報、山部分９３の始点に対応する距離情報、山部分９３の終点に対応する距離情報の４つの距離情報が特定される。

そして、ＣＰＵ８は、特定された４つの距離情報のうち最も小さい距離情報に対応する点を変化開始点として検出する。本実施形態においては、図１０（Ａ）に示されるように、分布曲線９０の始点９４が変化開始点として検出される。

次に、ＣＰＵ８は、分布曲線９０の変化終了点を検出する（ステップＳＣ３）。具体的には、ＣＰＵ８は、分布曲線９０から、先に検出された４つの各距離情報のうち、２番目に小さい距離情報に対応する点を検出する。本実施形態においては、図１０（Ａ）に示されるように、山部分９２の終点９５が変化終了点として検出される。本実施形態においては、変化終了点９５に対応する距離情報は４．２０（ｍ）である。

次に、ＣＰＵ８は、ＤＲＡＭ１０上に保持されている点群情報８１に含まれる距離情報に対して、変化終了点９５に対応する距離情報よりも大きい距離範囲に属する距離情報の全てを、変化終了点９５に対応する距離情報（４．２０（ｍ））へと変更する補正を行う（ステップＳＣ４）。

ステップＳＣ４の処理によって、図１０（Ｂ）に示されるように、変化終了点９５以降に存在する山部分９３（建物４４の特徴点の存在を示す山）に対応する距離情報の全てが、変化終了点９５に対応する距離情報（４．２０（ｍ））へと補正される。これにより、図１０（Ｂ）に示されるように、山部分９３の情報は山部分９３１の情報へと補正されることとなる。

図１１（Ａ）に、ステップＳＣ４の処理により補正された点群情報８２の様子が示されている。図８に示される元の点群情報８１に比べ、図１１（Ａ）に示される補正後の点群情報８２においては、建物４４の各特徴点に対応する全ての距離情報（Ｚ座標の値）が変化終了点８５の距離情報である４．２０（ｍ）へと補正されている。

図１２を参照して、ステップＳＣ４の処理について補足説明をする。図１２は、ステップＳＣ４の処理がなされた後の撮影環境の仮想的な変化を示す概念図である。

ステップＳＣ４の処理により、点群情報において建物４４の各特徴点に対応する距離情報が小さくなるように補正された。そのため、補正後の点群情報８２に基づく仮想的な撮影環境は、図１２に示されるように、あたかもデジタルカメラ１の位置に建物４４の位置が近づいたかのようになっている。

そして、点群情報において、建物４４の全ての特徴点に対応する各距離情報が変化終了地点９５に対応する距離情報となり均一化された。そのため、図１２に示されるように、建物４４の奥行きが失われ、建物４４はあたかも平面５１になったかのようになっている。

図９に戻り、ＣＰＵ８は、ステップＳＣ４の処理に引き続き、変化開始点９４の距離情報以上かつ変化終了点９５の距離情報以下の距離情報で構成される距離範囲を、３次元表示距離範囲として設定する（ステップＳＣ５）。３次元表示距離範囲とは、後述する再生モードにおいて撮影された被写体像が３次元的に表示される距離範囲のことである。図１０（Ｂ）には、本実施形態における３次元表示距離範囲９６が示されている。

次に、ＣＰＵ８は、設定された３次元表示距離範囲９６が所定の閾値以上であるか否かを判断する（ステップＳＣ６）。ＣＰＵ８は、設定された３次元表示距離範囲９６が所定の閾値未満であれば（ステップＳＣ６；ＮＯ）、ステップＳＣ８へと処理を進める。本実施形態において閾値は１（ｍ）である。閾値は１（ｍ）でなくともよい。

一方、設定された３次元表示距離範囲９６が所定の閾値以上であれば（ステップＳＣ６；ＹＥＳ）、ＣＰＵ８は、３次元表示距離範囲９６が閾値（１（ｍ））と同じ値の距離範囲となるように、補正後の点群情報８２に含まれる距離情報のうち３次元表示距離範囲９６に属する距離情報を補正する（ステップＳＣ７）。

具体的には、ＣＰＵ８は、補正前の３次元表示距離範囲９６に属する各距離情報の平均値を予め算出しておく。次に、ＣＰＵ８は、補正前の３次元表示距離範囲９６に含まれる各距離情報について、数直線上で隣接する各距離情報間の差分値の比率を全て予め算出しておく。

これらの算出処理の後、ＣＰＵ８は、補正前の３次元表示距離範囲９６に属する全ての距離情報が、閾値（１（ｍ））と同じ値の距離範囲に含まれるように、点群情報８２における３次元表示距離範囲９６に属する各距離情報を補正する。

ステップＳＣ７の処理の際、ＣＰＵ８は、補正前の３次元表示距離範囲９６に属する距離情報の平均値と、補正後の３次元表示距離範囲９６１に属する距離情報の平均値とが同じになるようにする。

ステップＳＣ７の処理の際、ＣＰＵ８は、補正後の３次元表示距離範囲９６１において数直線上で隣接する各距離情報の差分値の比率が、補正前の３次元表示距離範囲９６において数直線上で隣接する各距離情報の差分値の比率と同じになるようにする。

ステップＳＣ７の処理の際、ＣＰＵ８は、補正前の３次元表示距離範囲９６に属する各距離情報の大小関係と、補正された各距離情報（３次元表示距離範囲９６１に属する各距離情報）の大小関係とが変わらないようにする。

図１０（Ｃ）に、ステップＳＣ７の処理により補正された３次元表示距離範囲９６１が示されている。図１０（Ｃ）に示されるように、補正された３次元表示距離範囲９６１は、補正される前の３次元表示距離範囲９６よりも小さくなっている。

図１１（Ｂ）に、ステップＳＣ７の処理により補正された点群情報８３が示されている。図１１（Ｂ）に示されるように、補正前の３次元表示距離範囲９６に属していた距離情報（Ｚ座標の値）、つまり人物４１、人物４２、車４３の各特徴点に対応する各距離情報（Ｚ座標の値）の数直線上における存在範囲が、補正前のものに比べて小さくなっている。

ステップＳＣ６の処理もしくはステップＳＣ７の処理の後、ＣＰＵ８は、補正された点群情報８２（もしくは点群情報８３）を、撮影画像データ５０Ａと撮影画像データ５０Ｂのそれぞれのヘッダデータに記録し（ステップＳＣ８）、図９のフローチャートに示される距離情報補正処理を終了させる。

次に、図１３に示されるフローチャートを参照して、本実施形態に係る再生モードの処理について説明する。ユーザがキーブロック１３に対する所定の操作により再生モードを設定すると、ＣＰＵ１３は、フラッシュメモリ９から読み出してＤＲＡＭ１０に展開したプログラムとの協働により、図１３のフローチャートに示される再生モードの処理を実行する。

再生モードが設定されると、ＣＰＵ８は、撮影画像データに付随するヘッダデータからステップＳＡ８の処理により補正された点群情報８２（もしくは点群情報８３）を読み出し、読み出した点群情報をＤＲＡＭ１０に保持させる（ステップＳＤ１）。

次に、ＣＰＵ８は、周知のＤｅｌａｕｎａｙ法に従い、ＤＲＡＭ１０上で読み出された点群情報を用いて三角形ポリゴンモデルを生成する（ステップＳＤ２）。三角形ポリゴンモデルを生成する際には、生成される三角形が正三角形に近くなるような特徴点の結びつきが優先的に行われる。次に、ＣＰＵ８は、周知のテクスチャマッピング法を用いて、生成された三角形ポリゴンモデルのテクスチャデータを貼り付けることにより３次元画像を生成する（ステップＳＤ３）。

次に、ＣＰＵ８は、生成された３次元画像を表示部１２に表示させる（ステップＳＤ４）。次に、ＣＰＵ８は、生成された３次元画像上の各特徴点の座標情報を、撮影画像データ５０Ａと撮影画像データ５０Ｂのそれぞれのヘッダデータに記録し（ステップＳＤ５）、図１３のフローチャートに示される再生モードを終了させる。

図１４に、本実施形態により生成される３次元画像の例が示されている。図１４に示される３次元画像と図２２に示される３次元画像とは、それぞれ同じ被写体を撮影した画像である。本実施形態により生成される３次元画像は、図２２に示される従来技術により生成された３次元画像と比較して、主要被写体である馬の銅像（画像の左下に写る被写体）と背景である建物との距離が小さくなっている。そのため、本実施形態により生成される３次元画像は、ユーザが各被写体の様子を容易に把握できる画像となっている。これは、ステップＳＡ８の距離情報補正処理において、点群情報における変化終了点の距離情報よりも大きい距離情報が小さくなるように補正されたことにより、背景となる被写体と主要被写体との距離情報が小さくなったためである。

また、図１４に示される３次元画像においては、主要被写体である馬の銅像は３次元的に表現されているが、背景である建物は平面的に表現されている。これにより、ユーザは主要被写体の形状を３次元的に視認することができるとともに、背景となる被写体についてはその内容を把握しやくなっている。これは、ステップＳＡ８の処理において、点群情報における変化終了点の距離情報よりも大きい距離情報の全てが同じ距離情報（変化終了点に対応する距離情報）へと補正されたため、補正後の点群情報における背景被写体の特徴点に対応する距離情報が全て同じものになったためである。

（変形例）
上述の第１の実施形態では、ステップＳＣ４の処理においてＣＰＵ８が、変化終了点９５の距離情報よりも大きい距離情報の全てが、同じ距離情報（変化終了点９５の距離情報）になるように点群情報８１を補正した。しかし、ＣＰＵ８は、変化終了点９５の距離情報よりも大きい範囲に属する距離情報のそれぞれが同じ距離情報分だけ小さくなる補正を行ってもよい。

この変形例においては、例えば、図１０（Ｄ）に示されるように、ＣＰＵ８は、変化終了点９５と山部分９３の始点とが一致するように、山部分９３に対応する距離情報のそれぞれを、変化終了点９５の距離情報と山部分９３の始点に対応する距離情報との差分値だけ小さくする補正を、点群情報８１に含まれる各距離情報に対して行う。

また、第１の実施形態では、ステップＳＣ７の処理において、ＣＰＵ８は、設定された３次元表示距離範囲９６が所定の閾値以上であれば、３次元表示距離範囲９６が所定の閾値と同じ値の距離範囲となるように、点群情報８２に含まれる距離情報のうち３次元表示距離範囲９６に属する距離情報を補正するようにした。

しかし、ＣＰＵ８は、ステップＳＣ７の処理において、点群情報８２に含まれる３次元表示距離範囲９６に属する各距離情報Ｚを、例えば下記式（２）に従い補正してもよい。
Ｚ’＝Ｚ−（Ａ−Ｚ）・α （２）
但し、
Ｚ：補正前の距離情報の値（補正前の３次元表示距離範囲９６に属する各距離情報）
Ｚ’：補正後の距離情報の値（補正後の３次元表示距離範囲９６１に属する各距離情報）
Ａ：変化終了点９５に対応する距離情報の値
α：１未満の任意の自然数

以上説明したように、第１の実施形態およびその変形例においては、ＣＰＵ８が、点群情報８１に含まれる距離情報のうち変化終了点９５の距離情報よりも大きい距離範囲に属する距離情報が小さくなるように補正した。このようにすれば、被写体が３次元表示に適さない場合、つまり主要被写体と背景被写体との距離が大きい場合であっても、点群情報における主要被写体と背景被写体との距離情報が小さくなる。これにより、点群情報を用いて生成される３次元画像においては、３次元画像を構成する三角形ポリゴンがいびつな形状となることを回避できる。その結果、本実施形態では、被写体が３次元表示に適さない場合でも、ユーザが各被写体の様子を容易に把握できる３次元画像、つまり視認性の高い３次元画像を得ることができる。

第１の実施形態においては、ＣＰＵ８が、点群情報８１に含まれる距離情報のうち変化終了点９５の距離情報よりも大きい距離情報の全てが同じ距離情報（変化終了点９５の距離情報）になるように補正した。このようにすれば、補正された点群情報から生成される３次元画像においては、例えば、主要被写体を３次元的に表現できるともに、背景被写体については２次元的に表現できる。これにより、ユーザは主要被写体の形状を３次元的に視認することができるとともに、背景被写体についてはその内容を容易に把握することができる。その結果、本実施形態によれば、ユーザが背景となった被写体像の内容を容易に理解できる３次元画像、つまり視認性の高い３次元画像を得ることができる。

第１の実施形態においては、ＣＰＵ８が、３次元表示距離範囲９６が所定の閾値以上である場合には、３次元表示距離範囲９６が小さくなるように、点群情報８２に含まれる距離情報のうち３次元表示距離範囲９６に属する距離情報を補正した。これにより、３次元表示距離範囲９６に属する特徴点間の距離情報が過大な大きさである場合でも、点群情報８２に対して、この特徴点間の距離情報が小さくなるように補正がなされることとなる。すると、３次元画像上で３次元的に表現される主要被写体を構成する三角形ポリゴンが過大な大きさとなることを回避できる。その結果、本実施形態によれば、主要被写体等の奥行きが大きい場合であっても、３次元画像上で表現される主要被写体を適正な形状に補正することができ、視認性の高い３次元画像を得ることができる。

次に、本発明の他の実施形態について説明する。以下に説明する各実施形態においては、ステップＳＡ８の処理内容のみが上述の第１の実施形態と異なり、デジタルカメラ１の電気的構成やステップＳＡ８以外の処理内容は第１の実施形態と同じである。

＜第２の実施形態＞
図１５に示されるフローチャートを参照して、第２の実施形態に係る距離情報補正処理（ステップＳＡ８の処理）を説明する。

ステップＳＡ７の処理の後、ＣＰＵ８は、ＤＲＡＭ１０に保持されていた点群情報８１を用いて、距離別特徴点情報として、ＤＲＡＭ１０上で特徴点の分布図を生成する（ステップＳＥ１）。特徴点の分布図を生成方法は、このステップＳＣ１の処理と同様である。図１４（Ａ）に、ＣＰＵ８により生成された特徴点の分布図が示されている。

ＣＰＵ８は、ステップＳＣ２の処理と同様にして、分布曲線９０の変化開始点９４を検出する（ステップＳＣ２）。第２の実施形態においても、図１６（Ａ）に示されるように、分布曲線９０の始点９４が変化開始点として検出される。

次に、ＣＰＵ８は、デジタルカメラ１（撮影レンズ）から焦点が合っている被写体領域（合焦領域）までの距離ａを算出する（ステップＳＥ３）。具体的には、ＣＰＵ８は、フラッシュメモリ９に予め記録されている焦点距離情報ｆを読み出し、現在のズームレンズの位置からズーム倍率値ｍを特定する。そして、ＣＰＵ８は、周知の下記式（３）に従い撮影レンズから合焦領域までの距離ａを算出する。
１／ａ＋１／ｂ＝１／ａ＋１／ｍ・ａ＝１／ｆ （３）
但し、
ａ：撮影レンズから合焦領域までの距離
ｂ：撮影レンズから実像までの距離
ｍ：ズーム倍率
ｆ：焦点距離

次に、ＣＰＵ８は、背景集約距離情報として２ａ（ａは撮影レンズから合焦領域までの距離情報）の距離情報を設定する（ステップＳＥ４）。背景集約距離情報とは、後述するステップＳＥ５の点群情報の補正処理において、補正後の距離情報となるものである。

次に、ＣＰＵ８は、ＤＲＡＭ１０上に保持されている点群情報８１に含まれる距離情報に対して、背景集約距離情報（２ａ）よりも大きい距離情報の範囲に属する全ての特徴情報に対応する距離情報を、背景集約距離情報（２ａ）へと変更する補正を行う（ステップＳＥ５）。

ステップＳＥ５の処理によって、図１６（Ｂ）に示されるように、背景集約距離情報（２ａ）よりも大きい距離範囲において存在する山部分９３（建物４４の特徴点の存在を示す山）に対応する距離情報が、背景集約地距離情報（２ａ）へと補正される。

次に、ＣＰＵ８は、変化開始点９４の距離情報以上かつ背景集約距離情報以下の距離情報で構成される範囲を、３次元表示距離範囲として設定する（ステップＳＥ６）。図１６（Ｂ）には、本実施形態における３次元表示距離範囲９７が示されている。

次に、ＣＰＵ８は、設定された３次元表示距離範囲９７が所定の閾値以上であるか否かを判断する（ステップＳＥ７）。ＣＰＵ８は、設定された３次元表示距離範囲９７が所定の閾値未満であれば（ステップＳＥ７；ＮＯ）、ステップＳＥ９へと処理を進める。本実施形態において閾値は１（ｍ）である。閾値は１（ｍ）でなくともよい。

一方、ステップＳＥ６の処理において設定された３次元表示距離範囲９７が所定の閾値以上であれば（ステップＳＣ７；ＹＥＳ）、ＣＰＵ８は、３次元表示距離範囲９７が閾値（１（ｍ））と同じ値の距離範囲となるように、補正後の点群情報に含まれる距離情報のうち３次元表示距離範囲９７に属する距離情報を補正する（ステップＳＥ８）。ステップＳＥ８の処理における各距離情報の補正方法は、ステップＳＣ７の処理における各距離情報の補正方法と同様である。

図１６（Ｃ）に、ステップＳＥ８の処理により補正された３次元表示距離範囲９７１が示されている。図１６（Ｃ）に示されるように、補正された３次元表示距離範囲９７１は、補正される前の３次元表示距離範囲９７よりも小さくなっている。

ステップＳＥ７の処理もしくはステップＳＥ８の処理の後、ＣＰＵ８は、補正された点群情報を、撮影画像データ５０Ａと撮影画像データ５０Ｂのそれぞれのヘッダデータに記録し（ステップＳＣ８）、図１５のフローチャートに示される距離情報補正処理を終了させる。

（変形例）
上述の第２の実施形態では、ステップＳＥ５の処理においてＣＰＵ８が、背景集約距離情報よりも大きい距離情報の全てが、同じ距離情報（変化終了点９５の距離情報）になるように点群情報８１を補正した。しかし、ＣＰＵ８は、背景集約距離情報よりも大きい距離範囲に属する距離情報がそれぞれ同じ距離情報分だけ小さくなる補正を行ってもよい。

この変形例においては、例えば、図１６（Ｄ）に示されるように、ＣＰＵ８は、山部分９３の始点に対応する距離情報が背景集約距離情報（２ａ）に一致するように、山部分９３に対応する距離情報のそれぞれを、背景距離情報と山部分９３の始点に対応する距離情報との差分値だけ小さくする補正を、点群情報８１に含まれる各距離情報に対して行う。

また、第２の実施形態では、ＣＰＵ８は、合焦領域までの距離情報の２倍の距離情報を背景集約距離情報として設定した。しかし、背景集約距離情報は、合焦領域までの距離情報の１．５倍の距離情報や３倍の距離情報としてもよい。

また、第２の実施形態では、ステップＳＥ８の処理において、ＣＰＵ８は、設定された３次元表示距離範囲９７が所定の閾値以上であれば、３次元表示距離範囲９７が所定の閾値と同じ値の距離範囲となるように、点群情報８２に含まれる距離情報のうち３次元表示距離範囲９７に属する距離情報を補正するようにした。

しかし、ＣＰＵ８は、ステップＳＥ８の処理において、点群情報に含まれる３次元表示距離範囲９７に属する各距離情報Ｚを、例えば下記式（４）に従い補正してもよい。
Ｚ’＝Ｚ−（２ａ−Ｚ）・α （４）
但し、
Ｚ：補正前の距離情報の値（補正前の３次元表示距離範囲９７に属する各距離情報）
Ｚ’：補正後の距離情報の値（補正後の３次元表示距離範囲９７１に属する各距離情報）
２ａ：背景集約距離情報の値
α：１未満の任意の自然数

以上説明したように、第２の実施形態およびその変形例においては、ＣＰＵ８が、点群情報８１に含まれる距離情報のうち背景集約距離情報よりも大きい距離範囲に属する距離情報が小さくなるように補正した。このようにすれば、例えば、主要被写体と背景となる被写体との距離が大きい場合であっても、点群情報における主要被写体と背景被写体との距離情報が小さくなる。これにより、点群情報を用いて生成される３次元画像においては、３次元画像を構成する三角形ポリゴンがいびつな形状となることを回避できる。その結果、本実施形態では、ユーザが各被写体の様子を容易に把握できる３次元画像、つまり視認性の高い３次元画像を得ることができる。

第２の実施形態においては、図１６（Ｂ）に示されるように、焦点が合っている領域付近の距離範囲を３次元表示距離範囲９７として自動的に設定した。そして、焦点が合っている被写体は、ユーザが注目する主要被写体である可能性が高い。そのため、第２の実施形態では、ユーザの注目する主要被写体を容易に３次元的に表現することができる。

第２の実施形態においては、ＣＰＵ８が、点群情報８１に含まれる距離情報のうち背景集約距離情報よりも大きい距離情報の全てが同じ距離情報（背景集約距離情報）になるように補正した。このようにすれば、補正された点群情報から生成される３次元画像においては、例えば、主要被写体を３次元的に表現できるとともに、背景となる被写体については２次元的に表現できる。これにより、ユーザは主要被写体の形状を３次元的に視認することができるとともに、背景被写体についてはその内容を容易に把握することができる。その結果、本実施形態によれば、ユーザが背景被写体の内容を容易に理解できる３次元画像、つまり視認性の高い３次元画像を得ることができる。

第２の実施形態においては、ＣＰＵ８が、３次元表示距離範囲９７が所定の閾値以上である場合には、３次元表示距離範囲９７が小さくなるように、点群情報に含まれる距離情報のうち３次元表示距離範囲９７に属する距離情報を補正した。これにより、３次元表示距離範囲９７に属する特徴点間の距離情報が過大な大きさである場合でも、点群情報に対して、この特徴点間の距離情報が小さくなるように補正がなされることとなる。すると、３次元画像上で３次元的に表現される主要被写体を構成する三角形ポリゴンが過大な大きさとなることを回避できる。その結果、本実施形態によれば、主要被写体等の奥行きが大きい場合であっても、３次元画像上で表現される主要被写体を適正な形状に補正することができ、視認性の高い３次元画像を得ることができる。

＜第３の実施形態＞
図１７に示されるフローチャートを参照して、第３の実施形態に係る距離情報補正処理（ステップＳＡ８の処理）を説明する。

ステップＳＡ７の処理の後、ＣＰＵ８は、ＤＲＡＭ１０に保持されていた点群情報８１を用いて、距離別特徴点情報として、ＤＲＡＭ１０上で特徴点の分布図を生成する（ステップＳＦ１）。特徴点の分布図を生成方法は、このステップＳＣ１の処理と同様である。図１８（Ａ）に、ＣＰＵ８により生成された特徴点の分布図が示されている。

次に、ＣＰＵ８は、デジタルカメラ１から被写界深度の前端までの距離情報Ｄｎを算出する（ステップＳＦ２）。具体的には、ＣＰＵ８は、ステップＳＥ３の処理と同様にして撮影レンズから合焦領域までの距離ａを算出し、フラッシュメモリ９に予め記録されている焦点距離情報ｆと許容錯乱円の直径情報ｃとを読み出し、現在の絞り値Ｎを特定する。そして、ＣＰＵ８は、周知の下記式（５）に従い被写界深度の前端まで距離情報Ｄｎを算出する。
Ｄｎ＝ｃ・Ｎ・ａ²／（ｆ²＋ｃ・Ｎ／ａ） （５）
但し、
ａ：撮影レンズから合焦領域までの距離
ｆ：焦点距離
Ｎ：絞り値
ｃ：許容錯乱円の直径

次に、ＣＰＵ８は、デジタルカメラ１から被写界深度の後端までの距離情報Ｄｆを算出する（ステップＳＦ３）。具体的には、ＣＰＵ８は、ステップＳＥ３の処理と同様にして撮影レンズから合焦領域までの距離ａを算出し、フラッシュメモリ９に予め記録されている焦点距離情報ｆと許容錯乱円の直径情報ｃとを読み出し、現在の絞り値Ｎを特定する。そして、ＣＰＵ８は、周知の下記式（６）に従い被写界深度の後端まで距離情報Ｄｆを算出する。
Ｄｆ＝ｃ・Ｎ・ａ²／（ｆ2−ｃ・Ｎ／ａ） （６）
但し、
ａ：撮影レンズから合焦領域までの距離
ｆ：焦点距離
Ｎ：絞り値
ｃ：許容錯乱円の直径

次に、ＣＰＵ８は、ＤＲＡＭ１０上に保持されている点群情報８１に含まれる距離情報に対して、被写界深度の後端までの距離情報Ｄｆよりも大きい距離範囲に属する各距離情報を、被写界深度の後端までの距離情報Ｄｆへと変更する補正を行う（ステップＳＦ４）。

つまり、図１８（Ｂ）に示されるように、被写界深度の後端の距離情報Ｄｆよりも大きい距離範囲に属する山部分９３（建物４４の特徴点の存在を示す山）に対応する距離情報が、被写界深度の後端の距離情報Ｄｆへと補正される。

次に、ＣＰＵ８は、被写界深度の前端の距離情報Ｄｎ以上かつ被写界深度の後端の距離情報Ｄｆ以下の距離情報で構成される範囲を、３次元表示距離範囲として設定する（ステップＳＦ５）。図１８（Ｂ）には、本実施形態における３次元表示距離範囲９８が示されている。

次に、ＣＰＵ８は、設定された３次元表示距離範囲９８が所定の閾値以上であるか否かを判断する（ステップＳＦ６）。ＣＰＵ８は、設定された３次元表示距離範囲９８が所定の閾値未満であれば（ステップＳＦ６；ＮＯ）、ステップＳＥ８へと処理を進める。本実施形態において閾値は１（ｍ）である。閾値は１（ｍ）でなくともよい。

一方、ステップＳＦ５の処理において設定された３次元表示距離範囲９８が所定の閾値以上であれば（ステップＳＦ６；ＹＥＳ）、ＣＰＵ８は、３次元表示距離範囲９８が閾値（１（ｍ））と同じ値の距離範囲と同じになるように、補正後の点群情報に含まれる距離情報のうち３次元表示距離範囲９８に属する距離情報を補正する（ステップＳＦ７）。ステップＳＦ７の処理における各距離情報の補正方法は、ステップＳＣ７の処理における各距離情報の補正方法と同様である。

図１８（Ｃ）に、ステップＳＦ７の処理により補正された３次元表示距離範囲９８１が示されている。図１８（Ｃ）に示されるように、補正された３次元表示距離範囲９８１は、補正される前の３次元表示距離範囲９８よりも小さくなっている。

ステップＳＦ６の処理もしくはステップＳＦ７の処理の後、ＣＰＵ８は、補正された点群情報を、撮影画像データ５０Ａと撮影画像データ５０Ｂのそれぞれのヘッダデータに記録し（ステップＳＦ８）、図１７のフローチャートに示される距離情報補正処理を終了させる。

（変形例）
上述の第３の実施形態では、ステップＳＦ４の処理においてＣＰＵ８が、被写界深度の後端の距離情報Ｄｆよりも大きい距離情報の全てが、同じ距離情報（距離情報Ｄｆ）になるように点群情報８１を補正した。しかし、ＣＰＵ８は、被写界深度の後端の距離情報Ｄｆよりも大きい距離範囲に属する距離情報がそれぞれ同じ距離情報分だけ小さくなる補正を行ってもよい。

この変形例においては、例えば、図１８（Ｄ）に示されるように、ＣＰＵ８は、山部分９３の始点に対応する距離情報が被写界深度の後端の距離情報Ｄｆに一致するように、山部分９３に対応する距離情報のそれぞれを、距離情報Ｄｆと山部分９３の始点に対応する距離情報との差分値だけ小さくする補正を、点群情報８１に含まれる各距離情報に対して行う。

また、第３の実施形態では、ステップＳＦ７の処理において、ＣＰＵ８は、設定された３次元表示距離範囲９８が所定の閾値以上であれば、３次元表示距離範囲９８が所定の閾値と同じ値の距離範囲となるように、点群情報８２に含まれる距離情報のうち３次元表示距離範囲９８に属する距離情報を補正するようにした。

しかし、ＣＰＵ８は、ステップＳＦ７の処理において、点群情報に含まれる３次元表示距離範囲９８に属する各距離情報Ｚを、例えば下記式（７）に従い補正してもよい。
Ｚ’＝Ｚ−（Ｄｆ−Ｚ）・α （７）
但し、
Ｚ：補正前の距離情報の値（補正前の３次元表示距離範囲９８に属する各距離情報）
Ｚ’：補正後の距離情報の値（補正後の３次元表示距離範囲９８１に属する各距離情報）
Ｄｆ：被写界深度の後端の距離情報の値
α：１未満の任意の自然数

以上説明したように、第３の実施形態およびその変形例においては、ＣＰＵ８が、点群情報８１に含まれる距離情報のうち被写界深度の後端の距離情報Ｄｆよりも大きい距離範囲に属する距離情報が小さくなるように補正した。このようにすれば、例えば、主要被写体と背景となる被写体との距離が大きい場合であっても、点群情報における主要被写体と背景被写体との距離情報が小さくなる。これにより、点群情報を用いて生成される３次元画像においては、３次元画像を構成する三角形ポリゴンがいびつな形状となることを回避できる。その結果、本実施形態では、ユーザが各被写体の様子を容易に把握できる３次元画像、つまり視認性の高い３次元画像を得ることができる。

第３の実施形態においては、図１８に示されるように、被写体深度が存在する位置に応じた距離範囲を３次元表示距離範囲９８として自動的に設定した。そして、被写界深度に含まれる被写体、つまり焦点が合っている被写体は、ユーザが注目する主要被写体である可能性が高い。そのため、第２の実施形態では、ユーザの注目する主要被写体を容易に３次元的に表現することができる。

第３の実施形態においては、ＣＰＵ８が、点群情報８１に含まれる距離情報のうち被写界深度の後端の距離情報Ｄｆの距離情報よりも大きい距離情報の全てが同じ距離情報（距離情報Ｄｆ）になるように補正した。このようにすれば、補正された点群情報から生成される３次元画像においては、例えば、主要被写体を３次元的に表現するとともに、背景となる被写体については２次元的に表現できる。これにより、ユーザは主要被写体の形状を３次元的に視認することができるとともに、背景被写体についてはその内容を容易に把握することができる。その結果、本実施形態によれば、ユーザが背景となった被写体像の内容を容易に理解できる３次元画像、つまり視認性の高い３次元画像を得ることができる。

第３の実施形態においては、ＣＰＵ８が、３次元表示距離範囲９８が所定の閾値以上である場合には、３次元表示距離範囲９８が小さくなるように、点群情報に含まれる距離情報のうち３次元表示距離範囲９８に属する距離情報を補正した。これにより、３次元表示距離範囲９８に属する特徴点間の距離情報が過大な大きさである場合でも、点群情報に対して、この特徴点間の距離情報が小さくなるように補正がなされることとなる。すると、３次元画像上で３次元的に表現される主要被写体を構成する三角形ポリゴンが過大な大きさとなることを回避できる。その結果、本実施形態によれば、主要被写体等の奥行きが大きい場合であっても、３次元画像上で表現される主要被写体を適正な形状に補正することができ、視認性の高い３次元画像を得ることができる。

＜第４の実施形態＞
図１９に示されるフローチャートを参照して、第４の実施形態に係る距離情報補正処理（ステップＳＡ８の処理）を説明する。

ステップＳＡ７の処理の後、ＣＰＵ８は、図２０に示される設定画面を表示部１２に表示させ、ユーザのキーブロック１３に対する操作による背景集約距離情報の入力を検知するまで待機状態となる（ステップＳＧ１）。

ＣＰＵ８は、ユーザの操作による入力を検知しない場合（ステップＳＧ１；ＮＯ）、待機状態のままとなる。一方、ＣＰＵ８は、ユーザの操作による入力を検知した場合（ステップＳＧ１；ＹＥＳ）、ユーザの操作により入力された背景集約距離情報を設定する（ステップＳＧ２）。本実施形態においては、背景集約距離情報として４．００（ｍ）が設定されたとする。

次に、ＣＰＵ８は、ＤＲＡＭ１０に保持されている点群情報８１に含まれる各距離情報のうち、ステップＳＧ２の処理により設定された背景集約距離情報（４．００（ｍ））よりも大きい距離範囲に属する全ての距離情報が、この設定された背景集約距離情報（４．００（ｍ））になるように点群情報８１を補正する（ステップＳＧ３）。

図２１に、ステップＳＧ３の処理により補正された点群情報８４の様子が示されている。図２１に示されるように、元の点群情報８１において背景集約距離情報（４．００（ｍ））よりも大きい距離情報であった、建物４４の各特徴点に対応する距離情報が全て背景集約距離情報（４．００（ｍ））へと補正されている。

次に、ＣＰＵ８は、補正後の点群情報８４を、撮影画像データ５０Ａと撮影画像データ５０Ｂのそれぞれのヘッダデータに記録し（ステップＳＧ４）、図１９のフローチャートに示される距離情報補正処理を終了させる。

（変形例）
上述の第４の実施形態では、ステップＳＧ３の処理においてＣＰＵ８が、ユーザの操作により設定された背景集約距離情報よりも大きい距離情報の全てが、同じ距離情報（背景集約距離情報）になるように点群情報８１を補正した。しかし、ＣＰＵ８は、ユーザの操作により設定された背景集約距離情報よりも大きい距離範囲に属する距離情報がそれぞれ同じ距離情報分だけ小さくなる補正を行ってもよい。

以上説明したように、第４の実施形態およびその変形例においては、ＣＰＵ８が、点群情報８１に含まれる距離情報のうち、ユーザの操作により設定された背景集約距離情報よりも大きい距離範囲に属する距離情報が小さくなるように補正した。このようにすれば、例えば、主要被写体と背景となる被写体との距離が大きい場合であっても、点群情報における主要被写体と背景被写体との距離情報が小さくなる。これにより、点群情報を用いて生成される３次元画像においては、３次元画像を構成する三角形ポリゴンがいびつな形状となることを回避できる。その結果、本実施形態では、ユーザが各被写体の様子を容易に把握できる３次元画像、つまり視認性の高い３次元画像を得ることができる。

第４の実施形態においては、背景集約情報はユーザの操作により設定するようにした。これにより、点群情報に対して、ユーザが所望する距離範囲における被写体（背景被写体など）の距離情報を確実に小さくする補正をすることができる。

第４の実施形態においては、ＣＰＵ８が、点群情報８１に含まれる距離情報のうち背景集約距離情報よりも大きい距離情報の全てが同じ距離情報（背景集約距離情報）になるように補正した。このようにすれば、補正された点群情報から生成される３次元画像においては、例えば、主要被写体を３次元的に表現できるとともに、背景となる被写体については２次元的に表現できる。これにより、ユーザは主要被写体の形状を３次元的に視認することができるとともに、背景被写体についてはその内容を容易に把握することができる。その結果、本実施形態によれば、ユーザが背景となった被写体像の内容を容易に理解できる３次元画像、つまり視認性の高い３次元画像を得ることができる。

上記各実施形態及び各変形例では、本発明をデジタルカメラに適用した場合について説明した。しかし、本発明は、画像情報を生成する機能を有するものであれば、デジタルビデオカメラ、カメラ付き携帯電話端末等の他のカメラ装置や、パーソナルコンピュータ等の画像生成装置にも適用することができる。

最後に、本発明の上記実施形態及び各変形例は、何れも最良の実施形態としての単なる例に過ぎず、添付の特許請求の範囲を限定する趣旨のものでない。したがって、本発明の上記実施形態に対してなされ得る多種多様な変形はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲に含まれるものと解さなければならない。

１ デジタルカメラ
２ デジタルカメラの本体
４ シャッタキー
５Ａ 光学レンズ装置
５Ｂ 光学レンズ装置
６Ａ ＣＣＤ
６Ｂ ＣＣＤ
７ 画像処理部
８ ＣＰＵ
９ フラッシュメモリ
１０ ＤＲＡＭ
１１ メモリカード
１２ 表示部
１３ キーブロック
４１ 人物
４２ 人物
４３ 車
４４ 建物
５０Ａ ＣＣＤ６Ａにより撮影された撮影画像
５０Ｂ ＣＣＤ６Ｂにより撮影された撮影画像
６０ 被写体
６１ 被写体からの光像
８１ 点群情報
８２ 補正後の点群情報
８３ 補正後の点群情報
９０ 分布曲線
９１ 人物４１と人物４２の特徴点の存在を示す山部分
９２ 車４３の特徴点の存在を示す山部分
９３ 建物４４の特徴点の存在を示す山部分
９４ 変化開始点
９５ 変化終了点
９６ ３次元表示距離範囲
９６１ 補正後の３次元表示距離範囲

本発明は、距離情報補正装置、画像生成装置、距離情報補正方法、及び、プログラムに関するものである。

本発明は、３次元表示に適さないものであっても、距離情報を補正して３次元表示に適したものにすることを目的とする。

前記目的を達成するため、本願発明は、被写体の特徴点を示す複数の点情報と、当該複数の点情報の実空間における存在位置と撮影位置との距離を示す各距離情報と、の対応関係を示す点群情報を保持する保持手段と、この保持手段によって保持された点群情報から、対応する点情報が存在しない距離情報については、この距離を短縮するよう補正する第１の補正手段と、を備えるものとした。

本発明によれば、３次元表示に適さないものであっても、距離情報を補正して３次元表示に適したものにすることができる。

Claims (13)

1. 被写体の複数の点情報と当該複数の点情報の各距離情報との対応関係を示す点群情報に対して、前記各距離情報のうち特定の距離情報よりも大きい距離範囲に属する各距離情報を小さくする補正を行う補正手段と、
   前記補正手段により補正された点群情報に基づき、３次元画像を表現するための画像情報を生成する画像情報生成手段と、
   前記画像情報生成手段により生成された画像情報に基づく３次元画像を表示する表示手段と
   を備える画像生成装置。
2. 同じ距離情報に対応する前記被写体の点群情報の個数情報と前記各距離情報との対応関係を示す対応情報を生成する対応情報生成手段を備え、
   前記補正手段は、
   前記対応情報生成手段により生成された対応情報に含まれる各距離情報の中で略最小となる複数の前記個数情報に対応する各距離情報のうち、２番目に小さい距離情報を前記特定の距離情報として検出する検出手段と、
   前記点群情報に含まれる各距離情報のうち、前記検出手段により検出された特定の距離情報よりも大きい距離範囲に属する各距離情報を小さくする補正を行う第１の距離情報補正手段と、を備える
   請求項１記載の画像生成装置。
3. 前記第１の距離情報補正手段は、
   前記点群情報に含まれる各距離情報のうち、前記検出手段により検出された特定の距離情報よりも大きい距離範囲に属する距離情報の全てを、前記特定の距離情報へと補正する
   請求項２記載の画像生成装置。
4. 前記補正手段は、
   前記対応情報生成手段により生成された対応情報に含まれる各距離情報において略最小となる複数の前記個数情報に対応する各距離情報にうち、最も小さい２つの距離情報により規定される距離範囲を、３次元表示距離範囲として設定する設定手段と、
   前記設定手段により設定された３次元表示距離範囲が小さくなるように、前記点群情報における前記３次元表示距離範囲に属する各距離情報を補正する第２の距離情報補正手段と、を備える
   請求項３記載の画像生成装置。
5. 前記補正手段は、
   前記点群情報に含まれる各距離情報のうち、焦点の合った被写体領域までの距離情報に応じた距離情報である前記特定の距離情報よりも大きい距離範囲に属する各距離情報を小さくする補正を行う第１の距離情報補正手段を備える
   請求項１記載の画像生成装置。
6. 前記第１の距離情報補正手段は、
   前記点群情報に含まれる各距離情報のうち、前記特定の距離情報よりも大きい距離範囲に属する距離情報の全てを、前記特定の距離情報へと補正する
   請求項５記載の画像生成装置。
7. 前記補正手段は、
   焦点の合った被写体領域までの距離情報に応じた距離範囲を３次元表示距離範囲として設定する設定手段と、
   前記設定手段により設定された３次元表示距離範囲が小さくなるように、前記点群情報における前記３次元表示距離範囲に属する各距離情報を補正する第２の距離情報補正手段と、を備える
   請求項６記載の画像生成装置。
8. 前記補正手段は、
   前記点群情報に含まれる各距離情報のうち、被写界深度が存在する位置に応じた距離情報である前記特定の距離情報よりも大きい距離範囲に属する各距離情報を小さくする補正を行う第１の距離情報補正手段を備える
   請求項１記載の画像生成装置。
9. 前記第１の距離情報補正手段は、
   前記点群情報に含まれる各距離情報のうち、前記特定の距離情報よりも大きい距離範囲に属する距離情報の全てを、前記特定の距離情報へと補正する
   請求項８記載の画像生成装置。
10. 前記補正手段は、
    被写体深度の位置に対応する距離範囲を３次元表示距離範囲として設定する設定手段と、
    前記設定手段により設定された３次元表示距離範囲が小さくなるように、前記点群情報における前記３次元表示距離範囲に属する各距離情報を補正する第２の距離情報補正手段と、を備える
    請求項９記載の画像生成装置。
11. 前記第１の補正手段は、
    前記第１の点群情報に含まれる各距離情報のうち、ユーザの操作に基づく距離情報である前記特定の距離情報よりも大きい距離範囲に属する各距離情報を小さくする補正を行う第１の距離情報補正手段を備える
    請求項１記載の画像生成装置。
12. 前記第１の距離情報補正手段は、
    前記第１の点群情報に含まれる各距離情報のうち、前記特定の距離情報よりも大きい距離範囲に属する距離情報の全てを、前記特定の補正情報へと補正する
    請求項１１記載の画像生成装置。
13. コンピュータを、
    被写体の複数の点情報と当該複数の点情報の各距離情報との対応関係を示す第１の点群情報に対して、前記各距離情報のうち特定の距離情報よりも大きい距離範囲に属する各距離情報を小さくする補正を行うことにより、前記第１の点群情報から第２の点群情報を生成する補正手段、
    前記第１の補正手段により生成された第２の距離情報に基づき、３次元画像情報を生成する画像情報生成手段、
    前記画像情報生成手段により生成された画像情報に基づく３次元画像を表示画面に表示させる表示制御手段、
    として機能させるプログラム。

Images