JP2013247518A - 空間情報算出システム - Google Patents

Abstract

【課題】既存の立体カメラやファイルフォーマットを用いて、視差調整後の画像ファイルであってもユーザが指定する任意の部分の空間情報が取得可能で、カメラと正対していない状況でも被写体の大きさが分かる空間情報算出システムを提供する。
【解決手段】空間情報算出システムは、２つ以上の視差を有する画像を撮像し、該画像の視差を調整した画像データを出力する撮像装置と、画像データの少なくとも１つ以上の画像を表示部に示し、表示した画像の指定領域の視差値の算出を行い、該視差値に基づき指定領域の実際の空間情報を算出する空間情報算出装置とからなる。撮像装置は画像データに当該画像データの視差調整関連情報を付属させて出力する。空間情報算出装置は、視差調整関連情報から視差を有する画像の指定領域の補正視差量を取得する補正視差量取得部２１０を有し、補正視差量に基づき視差値を補正する。
【選択図】図６

Description

本発明は、表示した画像のユーザの指定した領域までの距離や該領域の大きさ等の空間情報を視差を有する画像から算出する空間情報算出システムに関するものである。

現在、インターネットを利用した買い物のシステムを利用するユーザ数が増加しており、店舗に行かずに商品を手軽に購入することが可能となっている。このとき、実際の商品を確認することなく、画像から商品の大きさなどを判断することになるが、正確に認識することは難しい。また、商品の画像と共に商品の大きさを文字情報で表示することも可能であるが、商品の数が多い場合などはその文字情報が煩わしくなることもある。

そのため画像から簡単にユーザが指定した被写体の大きさなどが知りたいとの要望があった。このような要望に関連し、特許文献１には、測距センサを搭載したカメラで被写体を撮影し、被写体の距離情報を取得しておき、被写体を表示する表示装置側で、ユーザの指定する被写体の距離情報とカメラの画角情報とから該被写体の実際の寸法を算出する技術が開示されている。

特開平１１−３４４３１１号公報

しかしながら、特許文献１に開示の技術では専用の測距センサが必要なことやユーザの指定する画像上の位置と距離情報の関連付けやデータの転送方法など専用のカメラや専用の伝送システムが必要になるという問題がある。また、撮影方向と垂直な面の被写体の任意部分の計測しか行えないため、被写体に対して正対して撮影する必要があり、カメラに対して斜めに配置する被写体の大きさは計測することができない問題がある。また、指定した領域と距離センサから出力される距離データが同一の被写体に関する値となるように制御する必要があり、画像上の位置と距離情報の対応付けの識別処理が複雑になるといった問題がある。

また、従来の技術として撮像素子を平行配置し、視点の異なる位置で撮影した視差を有する画像を用いて距離情報の取得を行う方法があるが、既存の立体視用の平行配置された撮像素子を有する撮像装置では、撮影後に左右画像の相対位置を調整し、立体視の際にディスプレイ面を挟んで引っ込み視差と飛び出し視差が付くように処理してから画像ファイルとして記録するものが多く、このような画像ファイルをそのままの状態で用いても正確な距離や長さの情報を取得することができない。上記のように、立体視において視差調整して記録するのは、平行配置のままの映像で立体視をすると無限遠の視差が０であり、カメラ側に近づくほど視差が大きくなる映像となるために、全てが飛び出した映像となってしまい、安全面の課題の発生や奥行き感が得られにくい映像となるためである。

本発明は、上述のような実情を鑑みてなされたもので、既存の立体視用のカメラやファイルフォーマットを用いて、立体視のための視差調整後の画像ファイルであってもユーザが指定する任意の部分の大きさや距離などの空間情報が取得可能で、カメラと正対していない状況であっても容易にユーザ指定部分の被写体の大きさが分かる空間情報算出システムを提供することを目的とする。

上記課題を解決するために、本発明の第１の技術手段は、２つ以上の視差を有する画像を撮像し、該視差を有する画像間の視差を調整した画像データを出力する撮像装置と、前記画像データのうち少なくとも１つ以上の画像を表示部に表示し、前記表示した視差を有する画像の指定された領域の視差値の算出を行うと共に該視差値に基づいて前記指定された領域の実際の空間情報を算出する空間情報算出装置と、からなる空間情報算出システムであって、前記撮像装置が、前記画像データに、当該画像データの視差の調整に関わる視差調整関連情報を付属させて出力するファイル生成部を有し、前記空間情報算出装置が、前記視差調整関連情報から前記視差を有する画像の指定された領域における補正視差量を取得する補正視差量取得部を有し、前記補正視差量に基づいて前記視差値を補正することを特徴としたものである。

本発明の第２の技術手段は、第１の技術手段において、前記視差調整関連情報が、前記撮像装置の機種情報であり、前記空間情報算出装置が、前記機種情報と前記補正視差量とを対応付けて記憶した参照テーブルを有することを特徴としたものである。

本発明の第３の技術手段は、第１の技術手段において、前記視差調整関連情報が、前記撮像装置の機種情報及び焦点距離情報であり、前記空間情報算出装置が、前記機種情報及び焦点距離情報と前記補正視差量とを対応付けて記憶した参照テーブルを有することを特徴としたものである。

本発明の第４の技術手段は、第１の技術手段において、前記視差調整関連情報が、前記撮像装置の機種情報及び画像の画素数を示す画像サイズ情報であり、前記空間情報算出装置が、前記機種情報及び画像サイズ情報と前記補正視差量とを対応付けて記憶した参照テーブルを有することを特徴としたものである。

本発明の第５の技術手段は、第１の技術手段において、前記視差調整関連情報が、撮像時と前記画像ファイルとしての出力時での視差を有する画像の相対位置の変化量である視差調整量であることを特徴としたものである。

本発明の第６の技術手段は、第１〜第５のいずれか１の技術手段において、前記視差調整関連情報が、前記画像ファイルのＥｘｉｆ付属情報として記録されていることを特徴としたものである。

本発明によれば、ユーザから入力する機能を有し、画像上でユーザの指定する領域に対しての実際の大きさや距離などの空間情報を２つの視差を有する画像と付属情報から算出することが可能なため、視覚的にどの部分の大きさであるのか容易に判断できる。また、専用の測距センサが必要ないためシステムが簡素化できる効果が得られる。また、カメラで撮影するだけで被写体までの距離や被写体の大きさ情報を取得することが可能であるため、非接触で物体の大きさが容易に分かるという効果がある。
また、立体視のための視差調整後の画像であっても空間情報の算出が可能である。さらに、専用のカメラを準備することなく、既存の立体カメラとファイルフォーマットを用いることができ、コスト増加を抑えることができる。

本発明の第１の実施例の空間情報算出システムの構成例を示す図である。 図１の立体画像撮像装置の概略構成を示すブロック図である。 視差を有する画像の視差を調整して記録することを説明する図である。 本発明の空間情報算出システムにて扱われる画像ファイルのファイル構成例を説明する図である。 図１の空間情報算出装置の概略構成例を示したブロック図である。 図５の画像処理部の概略構成例を示したブロック図である。 本発明において視差算出に用いられるブロックマッチング法について説明する図である。 本発明に関わる撮像装置の他の例の概略ブロック図である。 本発明に関わる空間情報算出装置の他の例の概略ブロック図である。 図９の画像処理部の概略ブロック図である。

以下、本発明に係る空間情報算出システムについて各実施例を挙げ図面を参照しながら説明する。

＜第１の実施例＞
図１は、本発明の空間情報算出システムの構成例を示す図である。
図１の例の空間情報算出システム１は、立体画像撮像装置１００と、空間情報算出装置２００とから成る。

立体画像撮像装置１００は、視差を有する２つの画像を撮像し、該視差を有する２画像間の視差を調整した画像データを画像ファイルとして出力する。画像ファイルは、フラッシュメモリやハードディスクへ記録された形態で、またはネットワークを通じた形態で、立体画像撮像装置１００から空間情報算出装置２００へ出力される。

空間情報算出装置２００は、上記画像データに基づいて一つの視差を有する画像を表示し、該表示した画像に対するユーザ入力を受け付ける。この空間情報算出装置２００は、後述の画像処理部にて、ユーザ指定された領域の視差値の算出を行うと共に該視差値に基づいて上記指定された領域の実際の空間情報を算出する。ここでの空間情報とは、撮影時における実際の３次元空間情報であり、指定する領域までの実際の距離や幅等であり、空間情報算出装置２００は、例えば、算出した空間情報を視差を有する画像上に重畳表示する。

本発明の第１の実施例では既存の立体画像撮像装置とファイルフォーマットを用いるため、先に立体画像撮像装置とファイルフォーマットに関して述べる。
図２は、図１の立体画像撮像装置（以下、撮像装置）１００の概略構成を示すブロック図である。
撮像装置１００は立体画像を撮影するもので、撮像部１０１と画像記録部１０２から構成される。

撮像部１０１は、２組のレンズ、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）のセンサから構成される撮像モジュールと、それらを制御する制御部、メモリなどから構成され、ユーザによって撮影されたそれぞれの画像データと撮影時の設定情報である撮影情報を画像記録部１０２へ出力する。
画像記録部１０２は、画像処理部１０３、符号化部１０４、付属情報生成部１０５、ファイル生成部１０６を備え、撮像部１０１から得られた画像データと撮影情報を画像ファイルとして記録する処理を行い、記録媒体への記録またはネットワークなどへの出力を行う。

撮像装置１００全体の動作に関して詳細に説明する。
撮像部１０１では平行に配置された２組の撮像モジュールを備え、視点位置の異なる画像データである画像１ａ、画像２ａがそれぞれ生成される。ここでは、画像１ａは被写体に向かって左側の撮像モジュールで撮影された画像であり、画像２ａは右側の撮像モジュールで撮影された画像であり、２つの画像は視差を有する。撮像部１０１で生成された２つの画像データは画像処理部１０３へと出力される。また、このとき、撮影時の画角を示す、焦点距離情報などの撮影時の設定情報を撮影情報として付属情報生成部１０５へと出力する。

画像処理部１０３は入力された２つの画像１ａ、画像２ａの画像サイズや色調整や相対位置を変更して視差を調整する。例えば、平行配置で撮影された画像は遠くの被写体になるほど視差が小さく、手前の被写体になるほど視差が大きくなる。このような画像で立体視するとすべて飛び出し方向の視差であり、無限遠がディスプレイ面となる画像となる。一般的にはディスプレイ面を境に飛び出しと引っ込み視差となるような画像が望ましいため、左右の相対位置を変更することで適切な立体視画像となるように処理をする。

ここで、上記の視差に関して簡単に説明する。図３（Ａ）は平行配置された視点位置から撮影した場合の被写体までの距離と視差の関係を示したグラフであり、横軸が距離、縦軸が視差を表す。図３（Ａ）の曲線ｋで示すように２つの視点間の距離より被写体距離が十分大きくなるにつれて視差は０に近づく。また、逆に視点位置に近づくにつれて視差が大きくなる。

図３（Ｂ）は平行配置された２つの撮像モジュールで撮影された左側視点の撮影画像Ｂ１と右側視点の撮影画像Ｂ２を示している。２つの撮影画像は被写体Ｏ１とＯ２と背景Ｏ３で構成されている。このとき背景は視点間距離に対して十分遠いものとする。この場合、遠景である背景Ｏ３は視差が０であり、被写体Ｏ１，Ｏ２は共に飛び出し方向の視差が付いている。また、この視差の大きさはＯ２＜Ｏ１となる。この視差と距離との関係を図３（Ａ）に示すと曲線ｋ上の点Ｏ１〜Ｏ３のようになる。

撮影画像Ｂ１、Ｂ２をこのまま立体表示すると背景Ｏ３がディスプレイ面となり、Ｏ１、Ｏ２が飛び出した立体画像となる。一般的には飛び出し視差が大きすぎると眼精疲労の原因になるなどの課題や、実際に見える景色に近い奥行き感を得るために遠景は引っ込み方向の視差にする方が望ましい。そこで、左右画像の相対位置を変えることで遠景が引っ込み方向の視差となるように調整する。例えば手前の被写体Ｏ１の前面を視差０となるように左右の相対位置を変化させた場合、図３（Ａ）のＯ’１〜Ｏ’３に示す視差になる。このとき、立体視すると被写体Ｏ１はディスプレイ面となり、被写体Ｏ２、背景Ｏ３は奥行に引っ込んだ位置として見られ、立体視しやすく、奥行き感のある立体映像となる。

このように、立体視用の画像は画像間の相対位置を変化させて視差調整し、実際に撮影された相対位置とは異なる視差となるようにして記録される場合がある。

上述したような画像の相対位置合わせなどの処理を画像処理部１０３が行い、処理結果は画像１ｂ、画像２ｂとして符号化部１０４に出力される。また、画像処理部１０３によってどのような処理を行ったかを示す情報が画像処理情報として付属情報生成部１０５に出力される。画像処理情報は例えば、画像のサイズ変更をした場合のサイズ情報などである。

符号化部１０４は画像処理部１０３から得られた画像１ｂ、画像２ｂの符号化を行う。符号化部１０４は、例えば、ＪＰＥＧ（Joint Photographic Experts Group）画像として圧縮する場合には、それぞれの画像データに対してＪＰＥＧ圧縮処理を行い、圧縮画像データを生成し、ビットマップなど非圧縮画像として記録する場合には、このような圧縮処理は行わずに目的のデータ形式に合わせて画像データを出力する。また、符号化部１０４はどのような符号化を行ったかを示す符号化情報を付属情報生成部１０５に出力する。本例では、画像１ｂ、画像２ｂのデータをＪＰＥＧ圧縮処理した画像１ｃ、画像２ｃが出力されるものとする。

付属情報生成部１０５では撮像部１０１と画像処理部１０３、符号化部１０４からそれぞれ得られた撮影情報、処理情報と符号化情報を基に、画像ファイルの付属情報として記録可能なように変換した付属情報を生成し、ファイル生成部１０６へと出力する。この付属情報には、例えば、撮像機器のメーカ名や機種名といった画像ファイルを生成した撮像機器を識別する情報である撮影機器情報が含まれ、空間情報算出装置２００において、視差補正量の算出時の視差調整関連情報として扱われる。視差補正量の算出に関しては後に詳細に説明する。

次にファイル生成部１０６の処理に関して説明する。ファイル生成部１０６は、符号化部１０４から入力された画像データ（画像１ｃ、画像２ｃ）と付属情報生成部１０５から入力された付属情報とを関連付けて一つのファイルとして記録する。

ここで、ファイル構成に関して図４に示す。近年では立体撮像装置の記録フォーマットとしてＣＩＰＡ（一般社団法人カメラ映像機器工業会）規格であるＣＩＰＡ ＤＣ−００７ マルチピクチャーフォーマット（ＭＰＦ：Multi-Picture Format）を扱う機器が増えてきており、画像１ｃ、画像２ｃを該規格に沿った形で記録するものとする。図４では、画像１ｃ、画像２ｃはそれぞれＥｘｉｆ（Exchangeable Image File Format）で規定されるファイルフォーマット構成で連続して記録される。

画像１ｃ、画像２ｃはＪＰＥＧ圧縮して記録され、付属情報はヘッダ部分のＡＰＰ（アプリケーションマーカセグメント）にＥｘｉｆ規格やＭＰＦ規格に沿った形で記録される。なお、Ｅｘｉｆ付属情報はＡＰＰ１に記録され、ＭＰＦ付属情報はＡＰＰ２に記録される。Ｅｘｉｆ付属情報としては、画像１ｃ、画像２ｃに関する撮影機器情報等の撮像素子、撮像機器の情報や露光時間、Ｆナンバーなどの撮影条件や画像読み出しに関する情報が記録される。また、ＭＰＦ付属情報としては、両画像の視点位置の関係を示す基線長や輻輳角情報、または立体、パノラマなど用途を識別する情報などが記録される。

また、先頭画像である画像１ｃのＭＰＦ付属情報には、ＭＰ Ｉｎｄｅｘ ＩＦＤによって画像２ｃの記録位置やサイズ、ＭＰＦ構造でいくつの画像が記録されているかを示す画像数に関する情報などの情報が記録される。
ここで各画像データの両端のＳＯＩ、ＥＯＩはそれぞれの画像の領域の開始と終了とを識別するための情報である。
本例では画像１ｃ、画像２ｃを上述した標準化されたＭＰＦで記録するものとしている。

図５は、図１の空間情報算出装置２００の概略構成を示したブロック図である。空間情報算出装置２００はファイル読み出し部２０１、画像処理部２０２、表示部２０３、ユーザ入力部２０４によって構成される。

ファイル読み出し部２０１は、図４に示すような画像ファイルからヘッダ部分の管理情報を読み取り、ファイル形式の判別や付属情報、画像データ位置を判別し、視差を有する２つのＪＰＥＧ画像データとＥｘｉｆ付属情報やＭＰフォーマット付属情報などを抽出する。抽出した２つの画像データ（画像１、画像２）と付属情報は画像処理部２０２へと出力される。この時、画像１が左視点の撮影画像、画像２が右視点の画像であり、画像１が基準画像として扱われるものとしている。次に、画像処理部２０２は、入力された画像データを表示部２０３が処理可能な形式へと変換して画像データを出力したり、視差のある２つの画像データからユーザの指定する領域の空間情報を算出し、画像データと共に表示部２０３へ出力したりする。動作の詳細については後述する。

表示部２０３は、画像処理装置から入力された画像を表示したり、ユーザが指定した内容に応じて算出された距離やサイズ情報を表示したりする。本例では、表示部２０３が画像１及び画像２のうち基準画像である画像１のみを表示し、該表示された画像に基づいてユーザがユーザ入力部２０４によって領域を指定するものとする。例えば、ユーザ入力部２０４が画像上に表示されたカーソル位置の情報を取得するものである場合には、画像上に表示されたカーソルをユーザが操作し、目的の領域を選択するものとする。また、タッチパネル液晶のように表示と入力が一体化したものでも構わない。この場合には、表示画面上を指などで押すことでユーザが目的とする領域を指定し、その座標情報をユーザ指定領域情報としてユーザ入力部２０４が画像処理部２０２に出力する。また、表示部２０３は、画像処理部２０２によって算出された結果を画像上に重畳し、ユーザに視覚的に分かるように表示する。例えば、長さであれば指定した２点を結んだ線分とその２点間に対応する実空間上での長さの値を画像上に重畳して表示するなど、視覚的に分かりやすく表示することが望ましい。

ここで、各部の動作について具体的に説明する。

画像処理部２０２により処理された画像及び算出された空間情報は表示部２０３に表示される。本例では、表示部２０３が画像１及び画像２のうち基準画像である画像１のみを表示し、該表示された画像に基づいてユーザがユーザ入力部２０４によって領域を指定するものとする。例えば、ユーザ入力部２０４は画像上に表示されたカーソル位置の情報を取得するものである場合には、画像上に表示されたカーソルをユーザが操作し、目的の領域を選択するものとする。また、タッチパネル液晶のように表示と入力が一体化したものでも構わない。この場合には、表示画面上を指などで押すことでユーザが目的とする領域を指定し、その座標情報をユーザ指定領域情報として画像処理部２０２に出力する。また、画像処理部２０２によって算出された結果を画像上に重畳し、ユーザに視覚的に分かるように表示する。例えば、長さであれば指定した２点を結んだ線分とその２点間に対応する実空間上での長さの値を画像上に重畳して表示するなど、視覚的に分かりやすく表示することが望ましい。

また、本実施例では、２つの視差を有する画像のうち１つの画像のみを表示した場合を示しているが、これに制限されることなく、２つの画像を同時に表示するような構成としてもよい。この場合、１つの視差を有する画像を表示する場合に比べて各画像を表示する領域は狭くなるが、２つの視差を有する画像に対応点を表示することで対応箇所が間違っていないか確認することができる。表示する画面領域が広く、対応点検出の誤判定を低減させる場合には有効である。

ここで、本発明の特徴部に関わる画像処理部２０２について以下説明する。
図６は、図５の画像処理部２０２の概略構成例を示したブロック図である。
画像処理部２０２は、補正視差量取得部２１０、カメラパラメータ取得部２１１、視差値算出部２１２、３次元位置情報算出部２１３、距離・サイズ情報算出部２１４から構成される。

補正視差量取得部２１０は、画像保存時の視差調整量を取得する。補正視差量取得部２１０は、付属情報のＥｘｉｆ付属情報から撮像機器のメーカ名や機種名である撮影機器情報を参照し、画像がどの撮像装置によって撮影されたか判定する。
また、補正視差量取得部２１０はこのような撮影機器情報とその機器での視差調整量を関連づけた参照テーブル２１０ａを有しており、撮影機器に対応する視差調整量を取得する。視差調整量は多くの撮影機器で固有の値となっており、例えば撮像装置から２ｍ先の領域で視差が０（立体視時にはディスプレイ面となるポイント）とするなど、ある一定距離のところの視差が０となるように左右画像の相対位置を変化させる調整をしている場合が多い。

また、この視差を０とする輻輳点の位置は撮影時のズーム倍率によっても異なる場合が多く、例えばレンズのワイド端での撮影時には２ｍの距離を視差が０となるように視差調整し、ズーム端での撮影時には６ｍの距離を視差が０となるように視差調整する。このようなズーム倍率はＥｘｉｆ付属情報の中の焦点距離情報で判別することが可能である。そのため、参照テーブル２１０ａは各撮像機器とその焦点距離に対応した視差調整量の情報を有し、単に撮像機器だけでは判別できない場合には、補正視差量取得部２１０ではさらにＥｘｉｆ付属情報の中の焦点距離情報を基に参照テーブル２１０ａから視差調整量を判定する。

また、視差調整量は撮影時の画像サイズの設定でも異なる。一般的には撮像機器では保存する解像度（画像サイズ）を設定することが可能で、センサの画素数以下の解像度で保存することができる。センサの解像度より小さな解像度に設定して撮影すると撮像素子で得られた画像データを切り出し処理や縮小処理して保存する。視差調整は基本的には画像単位で行われるため、撮像装置がある一定距離の視差が０となるように視差調整している場合には、撮影画像サイズによって視差調整の値が異なり、撮影画像サイズが小さい程その視差調整量も縮小されて小さくなる。そのため、参照テーブル２１０ａはさらに画像サイズごとの視差調整量に関する情報を有しており、補正視差量取得部２１０は撮像機器情報と画像サイズを基に参照テーブル２１０ａから視差調整量を判定する。画像サイズ情報は例えばＥｘｉｆ付属情報内の画像の高さを示すタグや画像の幅を示すタグから得ることができる。このように、撮像機器情報に加えて焦点距離情報や画像サイズ情報を識別することでより正確に視差調整量を識別することができる。

この参照テーブル２１０ａはネットワークから更新するなどして常に最新の情報へとすることが望ましい。更新可能な構成とすることでより多くの撮像装置で撮影された画像ファイルに対応することができる。また、本実施例では参照テーブル２１０ａを補正視差量取得部２１０内の記録領域に格納しているものとしているが、これに制限されるものではなく、通信機能を持たせることでネットワークを通じて撮像装置内に外部にある参照テーブル２１０ａ内のデータを参照するようにしても構わない。このように、補正視差量取得部２１０では撮像機器や焦点距離情報などを参照することで視差調整量を取得し、補正視差値として視差値算出部２１２へと出力する。

カメラパラメータ取得部２１１は付属情報からカメラの外部パラメータや内部パラメータを取得する。ここで、カメラの外部パラメータとは２つの画像がどのような配置の撮像モジュールによって撮影されたかを示す情報であり、例えば２つの撮像モジュール間の距離である基線長や撮像モジュールの光軸の相対的角度を示す輻輳角などがある。輻輳角は平行配置であれば０が記録されている。カメラパラメータ取得部２１１ではこのような２つの画像が平行配置か輻輳がある状態で撮影されたのかの情報を視差値算出部２１２へ視差値算出パラメータとして出力する。また、基線長、焦点距離情報、撮像素子の画素ピッチなどの情報を３次元位置情報算出部２１３へ出力する。

視差値算出部２１２は、ユーザ指定領域情報に対応した座標に対する視差値を算出する。例えば、ユーザによって左画像の画像上のある点が指定された場合、その座標における対応点を右画像上から判定し、そのずれ量を視差値とする。対応点とは左右画像、すなわち視差を有する画像に写る被写体上の同じ特徴点を示す。本実施例では２つの画像は平行配置された撮像モジュールによって撮影された画像であるものとしているので、視差算出パラメータから輻輳角０、つまり平行配置であるとの情報が取得され、次に記載する視差値算出処理を行う。ここで、本処理における視差算出に関して概要を説明する。

本例の視差算出はブロックマッチング法を用い、ブロック単位での類似度により２つの画像間で同じ被写体の同一点の位置を検出し、そのずれ量（視差）を検出する。この同一の点に係る画像１、画像２中の２つの点を対応点と呼ぶ。対応点の探索を行うために評価関数としてＳＡＤ（Sum of Absolute Difference）を用いる。ＳＡＤでは画像１、画像２のそれぞれで注目画素を中心にウィンドウを設定し、設定したウィンドウ間の各画素の輝度の差を求め、その各画素間から得られた輝度の差の和を算出する。同様な処理を画像２側の注目画素を変えながら行い、値が最も小さい注目画素が対応点であるとする。

ここで、上述の処理内容を具体的に説明する。図７（Ａ）には被写体Ｘを水平方向に視点の異なる位置から撮影した場合の概要図を示している。左視点から撮影された画像は画像１であり、右視点から撮影された画像は画像２になる。このとき、撮影された画像を図７（Ｂ）に示している。図７（Ｂ）では視点位置が異なることで、被写体Ｘの位置がそれぞれの画像で異なる位置に存在することが分かる。

画像１を基準に視差を算出する場合において被写体Ｘの一つの頂点を特徴点とした際のブロックマッチングの説明をする。図７（Ｃ）に示すように、この特徴点が画像１上の画素ａに存在するとした場合に、画素ａを中心とした３×３の大きさのウィンドウＭ１を設定する。次に、画像２において画素ａと同一の位置にある画素ａ’０を探索開始点として設定し、３×３のウィンドウＭ２を設定する。次に設定したウィンドウ間の各画素の輝度の差を求め、その各画素間から得られた輝度の差の和を算出する。例えば、図７（Ｄ）のように、それぞれの設定したウィンドウの画素の値をＸ１〜Ｘ９、Ｘ’１〜Ｘ‘９とすると、以下のような計算を行いＳＡＤ値を求める。

平行配置した撮像モジュールで撮影された視差を有する画像は無限遠の視差が０であり、近くの被写体になるほど視差が付く。このとき、画像１を基準として画像２が右視点の場合には、画像２上の特徴点が左側に移動する。そこで、探索方向を左側として画素ａ’０から左方向に注目画素を変更していき、上述したＳＡＤ値を順次求め、得られたＳＡＤ値の中で最小値をとる注目画素を対応点とする。この場合、対応点である画像２上の画素ａ’１が最も値が小さい結果となった。

このような処理をユーザ指定領域に対して行うことで指定領域に対する視差値を取得することができる。本例では基準画像は画像１であり、画像１と画像２のサイズは１９２０×１０８０、ウィンドウサイズは注目画素を中心に１５×１５として設定して視差算出を行っている。なお、ここでは上記のように画像やブロックサイズを設定したが、これに限定されるものではなく精度や処理量を考慮し、適宜設定すればよい。また、本実施例ではＳＡＤを用いたブロックマッチングによって求めたが、他の評価関数を用いたブロックマッチングや特徴点を検出し、その特徴量（類似性）で対応点を求める特徴点マッチングなどや他の手法でも構わない。

視差値算出部２１２は、上述のように視差値を算出する際に、補正視差量取得部２１０から入力された補正視差値に基づいて画像の相対位置を補正して視差値を算出することで、視差調整前の視差値を取得することができる。このように、視差調整して記録された画像の視差値を補正視差量に基づいて補正することで撮影時の平行配置時の視差値を得る。また、２つの視差を有する画像から視差値を算出してから得られた視差値を補正視差値に基づいて補正するのでもよく、上述した相対値を変化させてから視差を算出する方法とは視差調整して記録された画像の視差値を補正視差量に基づいて補正する点では同意とする。ただし、この場合、視差調整後の画像は輻輳点（視差が０の位置）を境に逆符号になるため、視差算出時に両方向に対応点を探索しにいく必要があり、処理が複雑になる。一方、相対値を補正した後に視差算出した方が１方向の探索で済むため、処理が簡素化できる効果がある。

視差値算出部２１２で算出された視差情報は３次元位置情報算出部２１３に入力され、視差値と距離算出パラメータを基に撮影時における指定した点の実際の３次元的な位置情報が算出される。ここでの３次元位置は基準画像を撮影した撮像モジュールの光学中心を基準とした実空間座標上の位置であり、ここでは撮像装置から被写体までの距離をＺ座標、左右方向をＸ座標、上下方向をＹ座標で表すものとする。また、このとき、基準画像の画像の中心を原点とする。

例えば基準画像上の左上を原点とした場合のある座標点Ｋ（ｘ、ｙ）があるとし、画像の中心を原点として変換した場合に、点Ｋの座標は（ｘ’、ｙ’）と表せるとする。この時、点Ｋに対する視差値をＤ、撮影時の焦点距離をｆ、基線長をＢ、センサの画素ピッチをＰとすると、基準画像を撮影した撮像部の光学中心を基準点として点Ｋまでの実空間上の距離Ｚは下記のように表すことができる。
Ｚ＝（Ｂ×ｆ）／（Ｄ×Ｐ）

また、センサ１画素あたりの大きさは距離Ｚの平面上ではＺ＊Ｐ／ｆと示せるので基準画像中心を基準とした３次元位置情報（Ｘ，Ｙ，Ｚ）のＸとＹは下記のように表せる。
Ｘ＝ｘ’×Ｂ／Ｄ
Ｙ＝ｙ’×Ｂ／Ｄ

このようにして算出可能な実際の空間上の３次元位置情報（Ｘ，Ｙ，Ｚ）は画像上の指定座標と関連付けられて距離・サイズ情報算出部２１４に出力される。このような、３次元位置の算出はユーザ指定領域に伴う各座標点に対して算出を行う。

距離・サイズ情報算出部２１４ではユーザから指定された領域中の各座標の３次元位置情報から距離や長さ、面積、体積などユーザの要求に応じた値を算出する。例えば、被写体までの距離情報が要求されている場合には、ユーザの指定した被写体上の点の３次元位置情報のＺを被写体距離として出力する。また、指定する２点間の長さが要求される場合には、２点Ａ，Ｂの３次元座標をＡ（Ｘａ，Ｙａ，Ｚａ），Ｂ（Ｘｂ，Ｙｂ，Ｚｂ）とすると下記のように長さＬを算出できる。
Ｌ＝√（｜Ｘａ−Ｘｂ｜^２＋｜Ｙａ−Ｙｂ｜^２＋｜Ｚａ−Ｚｂ｜^２）

上述のように各点の３次元位置情報から長さや面積を求めることから、被写体と撮像装置が正対して撮影された画像でなくても被写体の実際の大きさの取得が可能となる。

このように、本発明では、既存の立体撮像装置において視差調整がされた画像であっても、画像の付属情報からその視差調整量を判定し該視差調整量に基づいて空間情報算出装置側で再調整を行っているので、ユーザの指定する任意の領域の距離や長さや大きさなどを取得できる。言い換えれば、新たに専用の装置やシステム、データの記録転送方式を準備することなく、すでに撮影された画像ファイルであってもその画像ファイルから大きさ情報が取得できるためコスト増加を抑えることができる。また、ユーザが既に有していた画像ファイルの活用ができる。

＜第２の実施例＞
次に、本発明の空間情報算出システムの別の例について、図８〜図１０を用いて詳細に説明する。
第２の実施例は、第１の実施例における画像処理部１０３（図２）と補正視差量取得部２１３（図６）の形態が異なり、撮影装置側では、既存の標準化された画像フォーマットを用いて、画像ファイル中に視差調整量を付属情報として記録し、空間情報算出装置側では、補正視差量取得部が付属情報から視差調整量を抽出するものである。

図８に本実施例における撮像装置の概略ブロック図を、図９に本実施例における空間情報算出装置の概略ブロック図を、図１０に図９の画像処理部４０１の概略ブロック図を示す。なお、本実施例における第１の実施例と同様の部分については、同じ番号を付与することによりその詳細な説明は省略する。

図８の撮像装置３００において、画像処理部３０１は調整視差量取得部３０２を有し、画像処理部３０１によって調整された左右画像の相対位置の変化量の情報を取得する。例えば、画像１ａを基準にして、画像２ａの相対位置を１０画素分変更して視差調整した場合であれば、画像１ｂの調整量を０画素、画像２ｂの調整量を１０画素とする。このとき、どちらの方向へ相対位置を変化したかの情報も併せて取得する。例えば、右視点に対応する画像２ａを左側に１０画素シフトした位置で切り出すことで程よい視差量で遠景の被写体が引っ込み視差となる場合には、左方向へのシフトを負の値とし、右方向のへのシフトを正の方向とすると、−１０を画像２ｂの調整量とする。このような視差調整量の情報を画像処理情報として付属情報生成部１０５へと出力する。付属情報生成部１０５では入力された視差調整量をそれぞれの画像のヘッダ領域に記録する。例えば、ＥｘｉｆのＭａｋｅｒ Ｎｏｔｅの領域は各メーカが自由に使用可能な記録領域であり、この領域に視差調整量を記録するものとする。

次に、図９の空間情報算出装置４００の説明をする。空間情報算出装置４００の画像処理部４０１はファイル読み出し部２０１で分離された２つの画像データと付属情報、ユーザ入力部２０４から出力されたユーザ指定領域情報を受け取り、ユーザ指定領域情報に応じた距離、空間情報の算出を行う。

ここで、画像処理部４０１について図１０を用いてさらに詳細に説明する。
図示した画像処理部４０１の補正視差量取得部４０２は、撮像装置３００によって生成された画像ファイルから付属情報内に記録された視差調整量の格納位置を検出し、その視差調整量を取得する。ここでは、ＥｘｉｆのＭａｋｅｒｎｏｔｅ内の該当するタグを検出し、それに対応する値を抽出する。次に、取得した視差調整量からどのように左右画像位置の相対位置を変化させたか判定し、視差算出部２１０で用いる補正視差値として出力する。このように視差補正値は画像データの付属情報から直接取得可能なため、データ取得の簡素化が行える。

視差値算出部２１２では補正視差量取得部４０２から得られた補正視差値を基にユーザの指定する領域の視差値を補正することが可能であり、また、実施例１の場合と同様に３次元位置情報算出部２１３によって指定領域の３次元情報を算出し、距離・サイズ情報算出部２１４によって被写体までの距離や被写体の大きさなどを求めることができる。このように、撮像装置３００側でファイル内に視差調整量を記録し、空間情報算出装置内の画像処理部４０１で画像データと共に読み出すようにすることで、データベースを持つ必要がないためシステムの簡素化が図れる。また、撮像装置３００においても画像データの記録の際に付属情報として記録するだけであるので、ソフトやファームウェアのアップデート等の対応で容易に実現することが可能となる。本実施例では既存の標準化されたフォーマットと撮像装置３００を用いて画像上でユーザの指定する領域の距離や大きさを取得可能であり、特別に専用のシステムを構築する必要がない。

以上の例では平行配置された２画像で示したが、これに制限されるものではなく３画像以上でも構わない。その場合には、２つの画像を選択し、その対応付けなどを同様にすればよい。また、画像のファイル構成は２つの視差を有する画像を左右方向や上下方向に並べて結合して１枚の画像とした構成でも構わない。その場合、例えばＥｘｉｆのＭａｋｅｒｎｏｔｅ内に画像ファイルの構成を示す情報を記録するなどファイルのヘッダ部分にデータ構成の識別情報を付加し、あとは本実施例と同様にして必要な付属情報を読み出すことで調整された視差量を取得し、補正した視差値を用いて距離や長さの情報を得ることが可能である。

１…空間情報算出システム、１００…立体画像撮像装置、１０１…撮像部、１０２…画像記録部、１０３…画像処理部、１０４…符号化部、１０５…付属情報生成部、１０６…ファイル生成部、２００…空間情報算出装置、２０１…ファイル読み出し部、２０２…画像処理部、２０３…表示部、２０４…ユーザ入力部、２１０…補正視差量取得部、２１０ａ…参照テーブル、２１１…カメラパラメータ取得部、２１２…視差値算出部、２１３…次元位置情報算出部、２１４…距離・サイズ情報算出部、３００…撮像装置、３０１…画像処理部、３０２…調整視差量取得部、４００…空間情報算出装置、４０１…画像処理部、４０２…補正視差量取得部。

Claims (6)

1. ２つ以上の視差を有する画像を撮像し、該視差を有する画像間の視差を調整した画像データを出力する撮像装置と、前記画像データの少なくとも１つ以上の画像を表示部に表示し、前記表示した視差を有する画像の指定された領域の視差値の算出を行うと共に該視差値に基づいて前記指定された領域の実際の空間情報を算出する空間情報算出装置と、からなる空間情報算出システムであって、
   前記撮像装置は、
   前記画像データに、当該画像データの視差の調整に関わる視差調整関連情報を付属させて出力するファイル生成部を有し、
   前記空間情報算出装置は、
   前記視差調整関連情報から前記視差を有する画像の指定された領域における補正視差量を取得する補正視差量取得部を有し、前記補正視差量に基づいて前記視差値を補正することを特徴とする空間情報算出システム。
2. 前記視差調整関連情報は、前記撮像装置の機種情報であり、
   前記空間情報算出装置は、前記機種情報と前記補正視差量とを対応付けて記憶した参照テーブルを有することを特徴とする請求項１に記載の空間情報算出システム。
3. 前記視差調整関連情報は、前記撮像装置の機種情報及び焦点距離情報であり、
   前記空間情報算出装置は、前記機種情報及び焦点距離情報と前記補正視差量とを対応付けて記憶した参照テーブルを有することを特徴とする請求項１に記載の空間情報算出システム。
4. 前記視差調整関連情報は、前記撮像装置の機種情報及び画像の画素数を示す画像サイズ情報であり、
   前記空間情報算出装置は、前記機種情報及び画像サイズ情報と前記補正視差量とを対応付けて記憶した参照テーブルを有することを特徴とする請求項１に記載の空間情報算出装置。
5. 前記視差調整関連情報は、撮像時と前記画像ファイルとしての出力時での視差を有する画像の相対位置の変化量である視差調整量であることを特徴とする請求項１に記載の空間情報算出システム。
6. 前記視差調整関連情報は、前記画像ファイルのＥｘｉｆ付属情報として記録されていることを特徴とする請求項１〜５のいずれか１項に記載の空間情報算出システム。

Images