JP2013013008A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】２Ｄ画像撮影装置に対して３Ｄ画像撮影用レンズを装着して３Ｄ画像を撮影する場合、画像センサの使用効率を低下させることなく撮影する。
【解決手段】撮像素子ＩＳにより第１画像ＩＬおよび第２画像ＩＲを取り込んで三次元立体画像を生成する画像処理装置であって、前記第１画像および前記第２画像の境界付近において、前記第１画像および前記第２画像が混じり合う被置換領域を算出する被置換領域算出部（２２）と、前記算出された前記第１画像ＩＬにおける第１被置換領域Ｒ２を、前記第２画像ＩＲにおける，前記第１被置換領域Ｒ２に対応する第１置換領域Ｒ４に置き換えると共に、前記算出された前記第２画像ＩＲにおける第２被置換領域Ｒ３を、前記第１画像ＩＬにおける，前記第２被置換領域Ｒ３に対応する第２置換領域Ｒ１に置き換える置換処理部（２４）と、を有する。
【選択図】図４

Description

この出願で言及する実施例は、画像処理装置および画像処理方法に関する。

近年、ビデオカメラや電子スチルカメラ等の撮影装置において、三次元立体画像（３Ｄ画像：Three Dimensional Image）の生成が注目されている。具体的に、３Ｄ画像撮影装置（立体映像撮影装置）としては、例えば、２つのレンズおよび２つの撮像素子（画像センサ）を使って３Ｄ画像を撮影（生成）するものが知られている。

さらに、最近では、二次元画像（２Ｄ画像：Two Dimensional Image）撮影装置に対して、３Ｄ画像を撮影するための３Ｄ画像撮影用レンズを後付けすることにより、容易にサイドバイサイド方式の３Ｄ画像を撮影するものも実用化されている。

ところで、従来、３Ｄ画像を得るための画像処理技術、並びに、３Ｄ画像撮影用レンズ（ステレオアダプタ）を２Ｄ画像撮影装置に装着して３Ｄ画像を生成する３Ｄ画像撮影装置としては、様々なものが提案されている。

特開２０１０−１０３８６６号公報 特開２００５−０４５３２８号公報

前述したように、２Ｄ画像撮影装置に対して３Ｄ画像撮影用レンズを後付けすることにより、容易にサイドバイサイド方式の３Ｄ画像を撮影することのできる３Ｄ画像撮影装置が実用化されている。

このような３Ｄ画像撮影装置は、２Ｄ画像を撮影するときに使用する１つの画像センサに対して、左目で観察するための左用画像と、右目で観察するための右用画像の所定の視差（パララックス）を有する２つの画像を結像させる。

しかしながら、２Ｄ画像撮影装置に対して３Ｄ画像撮影用レンズを後付けした場合、例えば、左右の画像の境界付近では、左用および右用画像が混ざり合って画質が低下する重複領域ができる。

そのため、重複領域を使用しないように左右の画像データを切り出し、その切り出された画像データを結合してサイドバイサイドの画像データを生成する。

その結果、画像センサの使用効率が低下し、実際に処理すべき画像データよりも大きいサイズのデータを処理しなければならない。すなわち、所望のサイズの３Ｄ画像を得るためには、より大きなサイズの画像センサが必要となってコストアップを招き、さらに、処理するデータの増大により処理速度の低下も招くことにもなる。

一実施形態によれば、撮像素子により第１画像および第２画像を取り込んで三次元立体画像を生成する画像処理装置であって、被置換領域算出部と、置換処理部と、を有することを特徴とする画像処理装置が提供される。

前記被置換領域算出部は、前記第１画像および前記第２画像の境界付近において、前記第１画像および前記第２画像が混じり合う被置換領域を算出する。前記置換処理部は、前記算出された前記第１画像における第１被置換領域を、前記第２画像における，前記第１被置換領域に対応する第１置換領域に置き換える。さらに、前記置換処理部は、前記算出された前記第２画像における第２被置換領域を、前記第１画像における，前記第２被置換領域に対応する第２置換領域に置き換える。

開示の画像処理装置および画像処理方法は、２Ｄ画像撮影装置に対して３Ｄ画像撮影用レンズを装着して３Ｄ画像を撮影する場合、画像センサの使用効率を低下させることなく撮影することができるという効果を奏する。

換言すると、開示の画像処理装置および画像処理方法は、実際に処理すべき画像データに対応したサイズの画像センサを使用して、コストアップおよび処理速度の低下を回避することができるという効果を奏する。

画像処理装置の一例を説明するための図（その１）である。 画像処理装置の一例を説明するための図（その２）である。 本実施例に係る画像処理装置を説明するための図（その１）である。 本実施例に係る画像処理装置を説明するための図（その２）である。 本実施例に係る画像処理方法を説明するための図（その１）である。 本実施例に係る画像処理方法を説明するための図（その２）である。 本実施例が適用される画像処理装置の一例を示すブロック図である。

まず、画像処理装置および画像処理方法の実施例を詳述する前に、画像処理装置の一例およびその問題点を図１および図２を参照して説明する。

図１および図２は、画像処理装置の一例を説明するための図である。ここで、図１は、画像処理装置の光学系（レンズおよび画像センサ）を抜き出して描いたものであり、図２は、画像センサにおける画像の処理を説明するためのものである。

図１に示す画像処理装置は、例えば、レンズＬ１，絞りＡ１および画像センサＩＳを有する２Ｄ画像撮影装置に対して、レンズＬ２１および絞りＡ２１，並びに，レンズＬ２２および絞りＡ２２を有する３Ｄ画像撮影用レンズを装着して３Ｄ画像を撮影する。

これにより、例えば、撮影対象となる木ＴＯＢは、並べて配置された、絞りＡ２１およびレンズＬ２１、並びに、絞りＡ２２およびレンズＬ２２を介して２つの画像（虚像）とされ、絞りＡ１およびレンズＬ１を介して画像センサＩＳ上に結像される。

画像センサＩＳ上には、例えば、撮影対象の木ＴＯＢに対して、左目で観察するための左目用の木の画像ＴＬと右目で観察するための右目用の木の画像ＴＲの２つの画像が結像する。ここで、画像センサＩＳは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサである。

なお、これら左目用および右目用の木の画像ＴＬおよびＴＲには、所定のパララックスが含まれており、それぞれ左目および右目で観察することにより、撮影対象（木）が立体的に見えるようになっている。

ところで、図２に示されるように、画像センサＩＳ上に結像した２つの画像に関して、左目用の木の画像ＴＬを含む左用画像ＩＬと、右目用の木の画像ＴＲを含む右用画像ＩＲとの境界付近の領域ＲＯでは、画像の低下を来すことが知られている。なお、図２において、参照符号ＣＬは、左用画像ＩＬと右用画像ＩＲの境界線（中心線）を示す。

すなわち、左用画像ＩＬと右用画像ＩＲの境界領域ＲＯでは、左用画像ＩＬと右用画像ＩＲが混ざり合うため、撮影対象の形状が不鮮明になり、また、明るさや色も実際のものとは異なって画質が低下する。なお、本明細書では、このような左用画像ＩＬと右用画像ＩＲが混ざり合って画質が低下する領域を重複領域（被置換領域）と称する。

そのため、重複領域ＲＯを使用しないようにデータを切り出し、それらのデータを結合させてサイドバイサイド（左用画像ＩＬおよび右用画像ＩＲ）のデータを生成している。従って、画像センサＩＳの使用効率が低下し、すなわち、所望のサイズの３Ｄ画像を得るために大きなサイズの画像センサが必要となる。

これは、実際に処理すべき画像データよりも大きいサイズの画像センサからのデータを処理しなければならず、その大きいサイズの画像センサによるコストアップだけでなく、処理するデータの増大により処理速度の低下を招くことにもなる。

以下、画像処理装置および画像処理方法の実施例を、添付図面を参照して詳述する。図３および図４は、本実施例に係る画像処理装置を説明するための図である。なお、本実施例の画像処理装置における光学系（レンズおよび画像センサ）は、基本的には、前述した図１を参照して説明したのと同様である。

図３に示されるように、本実施例において、サイドバイサイドの画像を構成する左用画像ＩＬおよび右側画像ＩＲには、それらの画像の境界付近で、左用および右用画像が混ざり合って画質が低下する重複領域（被置換領域）Ｒ２およびＲ３が含まれる。

そこで、左用画像ＩＬの右端部分（重複領域）Ｒ２として、右用画像ＩＲの右端部分（置換領域）Ｒ４を利用し、右用画像ＩＲの左端部分（重複領域）Ｒ３として、左用画像ＩＬの左端部分（置換領域）Ｒ１を利用する。

ここで、右用画像ＩＲの右端部分Ｒ４，および，左用画像ＩＬの左端部分Ｒ１は、右用画像ＩＲおよび左用画像ＩＬが重なり合うことがなく、十分な画質を有している。また、左用画像ＩＬおよび右用画像ＩＲには、所定のパララックスが含まれるが、通常、ビデオカメラや電子スチルカメラ等のデジタル撮影機器は、被写体（例えば、木：ＴＬ，ＴＲ）を中心にして撮影することが多く、周辺領域の違いは殆ど判らない。

すなわち、本実施例の画像処理装置において、例えば、左用画像ＩＬの右端部分Ｒ２として、右用画像ＩＲの右端部分Ｒ４を利用するが、この右用画像ＩＲは、左用画像ＩＬとは異なる視差で撮影されている。

しかしながら、左用画像ＩＬの右端部分Ｒ２として、右用画像ＩＲの右端部分Ｒ４を利用しても、デジタル撮影機器、特に、３Ｄ画像では、画像中心における被写体の立体感に注目が集中するため、周辺領域における視差の違いは殆ど気にならない。さらに、画像の周辺部では、画像中央部の被写体にフォーカスを合わせることで、フォーカスが合っていない場合が多く、この点からも、殆ど気になることはない。

すなわち、サイドバイサイドの２つの画像ＩＬおよびＩＲは、まず、メモリに格納される。そして、左用画像ＩＬの右端部分Ｒ２を読み出すときに、右用画像ＩＲの右端部分Ｒ４のデータを読み出し、右用画像ＩＲの左端部分Ｒ３を読み出すときに、左用画像ＩＬの左端部分Ｒ１を読み出して、３Ｄ用の２つの画像を生成する。なお、左用画像ＩＬおよび右用画像ＩＲの幅（水平サイズ）をＨとする。

図４に示されるように、例えば、左端上部から右端下部へ１ラインごとにアクセスするとき、左用画像ＩＬの左端（Ｒ１）から右方向（ＭＳ１）へ順に読み出し、左用画像ＩＬの右端領域Ｒ２に入ると、画像比較を行って重複開始座標（Ｘｌ＝Ｈ−ｘ）を求める。

そして、左用画像ＩＬの重複開始座標（Ｘｌ＝Ｈ−ｘ）からは、右用画像ＩＲの右端部分Ｒ４における対応する座標（Ｘｒ＝２Ｈ−ｘ）から右方向（ＭＳ２）へ順に読み出し、低い画質の重複部分を右用画像ＩＲの対応個所に置き換えた左用画像ＩＬを得る。

さらに、右用画像ＩＲの左端（Ｒ３）は、低い画質の重複部分であるため、左用画像ＩＬの左端領域Ｒ１から右方向（ＭＳ３）へ順に読み出す。このとき、右用画像ＩＲの左端領域Ｒ３において、左用画像ＩＬの左端領域Ｒ１に置き換える範囲は、例えば、左用画像ＩＬの右端領域Ｒ２において、右用画像ＩＲの右端領域Ｒ４に置き換える範囲と同じにすればよい。

そして、上記範囲で左用画像ＩＬの左端領域Ｒ１への置き換えが終了すると、右用画像ＩＲを右方向（ＭＳ４）へ順に読み出し、低い画質の重複部分を左用画像ＩＬの対応個所に置き換えた右用画像ＩＲを得る。なお、右用画像ＩＲの右端までアクセスすると、１つ下のラインへ移動して、再び、左用画像ＩＬの左端から右方向へ順に読み出し、同様の処理を繰り返す。

なお、図３において、Ｘｌは左変換画素（Ｘｌ，ｙｌ）を示し、Ｘｒは右変換画素（ｘｒ，ｙｒ）を示し、Ｘｔは置き換え対象画素（ｘ，ｙ）を示す。これらを使用した説明は、後に、詳述する。また、左用画像ＩＬは、レンズＬ２１およびＬ１を介して画像センサＩＳ上に結像した画像であり、右用画像ＩＬは、レンズＬ２２およびＬ１を介して画像センサＩＳ上に結像した画像である。

このように、本実施例によれば、画像センサの使用効率を低下させることなく、３Ｄ画像（左用画像ＩＬおよび右用画像ＩＲ）を得ることができる。これは、３Ｄ画像を撮影するために実際に処理すべき画像データよりも大きいサイズの画像センサを不要とすることを意味し、大きいサイズの画像センサによるコストアップを抑えることができる。さらに、実際に処理すべき画像データよりも大きいサイズの画像センサからのデータを処理する必要がないため、処理するデータの増大により処理速度の低下を避けることもできる。

図５および図６は、本実施例に係る画像処理方法を説明するための図である。図５に示されるように、まず、ステップＳＴ１１において、画像センサにより左用および右用の２つの画像を撮像し、ステップＳＴ１２に進んで、サイドバイサイド方式の３Ｄ画像をメインメモリ（例えば、図７におけるメインメモリ３８）に取り込む。

次に、ステップＳＴ１３に進んで、重複座標値を算出し、ステップＳＴ１４およびＳＴ１５において、重複座標値の読み出しを行う。すなわち、まず、ステップＳＴ１４において、メインメモリに格納された画像データから重複領域の開始座標値を求める。

一般的に、重複画像は、左用画像ＩＬの右端部分Ｒ２の画像と、右用画像ＩＲの左端部分Ｒ３の画像が混じり合うため、画質が低下して不鮮明となる。従って、図４に示す置き換え対象画素Ｘｔ（ｘ，ｙ）は、次の式（１）のように、左用画像ＩＬおよび右用画像ＩＲの変換対象画素Ｘｌ，Ｘｒの平均として求めることができる。
Ｘｔ＝（Ｘｌ＋Ｘｒ）／２ ……（１）

なお、Ｘｌ＝Ｈ−ｘ、Ｘｒ＝２Ｈ−ｘ （Ｈは、画像の水平サイズ）を算出する処理は、後に、図６を参照して詳述する。そして、ステップＳＴ１５において、信号処理を行って重複座標を含む座標を格納する。

さらに、ステップＳＴ１６に進んで、信号処理により読み出し座標を算出し、ステップＳＴ１７に進んで、メインメモリから画像データを読み出す。例えば、算出した座標（アドレス）に従って、図７の入力ＤＭＡコントローラ５６を用いて、全ラインのデータをメインメモリ３８から読み出す。

すなわち、図４を参照して説明したように、例えば、左用画像ＩＬの重複開始座標からは、右用画像ＩＲの右端部分Ｒ４における対応する座標から右方向へ順に読み出すといったアドレスの変換処理、および、その変換アドレスによる読み出し処理を行う。

そして、ステップＳＴ１８に進んで、例えば、左用画像ＩＬの右端部分（被置換領域）Ｒ２を、右用画像ＩＲの右端部分（置換領域）Ｒ４を利用して置き換えるように信号処理して左用画像ＩＬを生成する。さらに、ステップＳＴ１９に進んで、その画像データをメインメモリに書き込む。

なお、右用画像ＩＲに関しても、ステップＳＴ１８で、右用画像ＩＲの左端部分（被置換領域）Ｒ３を、左用画像ＩＬの左端部分（置換領域）Ｒ１を利用して置き換えるように信号処理して右用画像ＩＲを生成する。さらに、ステップＳＴ１９に進んで、その画像データをメインメモリに書き込む。

例えば、図７において、演算プロセッサ５４で信号処理（ＹＣデータ変換）を行い、出力ＤＭＡコントローラ５８を用いて、メインメモリ３８にデータを書き戻す。

このように、低い画質部分（Ｒ２，Ｒ３）の置き換え処理が行われたサイドバイサイドの画像（左用画像ＩＬおよび右用画像ＩＲ）が生成され、例えば、ＳＤカード等のフラッシュメモリ（図７の外部記録メディア２８）に格納されることになる。

次に、ＸｌおよびＸｒの算出処理を、図６を参照して詳述する。図６に示されるように、左右画像の変換対象画素Ｘｌ，Ｘｒの算出処理が開始すると、まず、ステップＳＴ２１において、画像の左端から置き換え対象Ｘｔ（ｘ）を設定して、ステップＳＴ２２に進む。ここで、Ｈは、画像の水平サイズを示す。

ステップＳＴ２２では、置き換え座標を算出するための左用画像ＩＬの左端における変換対象座標Ｘｌ（＝Ｈ−ｘ）を設定し、ステップＳＴ２３に進んで、置き換え座標を算出するための、右用画像ＩＲの右端における変換対象座標Ｘｒ（＝２Ｈ−ｘ）を設定する。そして、ステップＳＴ２４に進んで、変換対象座標Ｘｌ，Ｘｒから、上記式（１）を用いて比較座標を求め、置き換え座標Ｘｔと比較する。

次に、ステップＳＴ２４に進んで、画像の比較を行う。すなわち、Ｘｔ＝（Ｘｌ＋Ｘｒ）／２が成り立つ（一致する）かどうかを判定する。ステップＳＴ２４において、Ｘｔ＝（Ｘｌ／Ｘｒ）２が成り立つ（一致）と判定すると、ステップＳＴ２５に進んで、重複開始座標と判断して、その座標を取得する。

一方、ステップＳＴ２４において、Ｘｔ＝（Ｘｌ／Ｘｒ）２が成り立たない（不一致）と判定すると、ステップＳＴ２６に進み、置き換え座標および変換座標をＸ方向へ『＋１』だけ更新して、前述したステップＳＴ２１に戻る。

ステップＳＴ２５において、座標を取得すると、さらに、ステップＳＴ２７に進んで、全ラインＸｔ（ｙ）分の座標を取得したかどうかを判定し、全ライン分の座標の取得が完了したら、ステップＳＴ２９に進んで、補正完了として処理を終了する。

なお、ステップＳＴ２７において、全ライン分の座標の取得が完了していないと判定すると、ステップＳＴ２８に進んで、ラインを『＋１』だけ更新して、前述したステップＳＴ２１に戻る。

このようにして、置き換え座標と対象座標が一致した場合は、重複領域と判断し、その座標値をメモリなどに保持しておく。なお、右用画像ＩＲにおける重複領域も同様にして求め、これにより重複領域の終了座標が得られる。また、左用画像ＩＬの終了座標および右用画像ＩＲの開始座標は、例えば、左用および右用画像の中心座標Ｘｃとする。

そして、この座標算出を各ラインで実施し、メモリに座標を格納する。ここで、ハードウエアに制限がある場合には、例えば、全ラインの最大値を求め、その値のみメモリに格納して、全ラインに適用することもできる。

以上により、画像の切り出しを行うことなく、正常な画像を作成することが可能になる。また、オーバヘッドの画像を処理する必要がないため、処理時間の短縮を図ることができる。すなわち、２Ｄ画像撮影装置に対して３Ｄ画像撮影用レンズを装着して３Ｄ画像を撮影する場合、画像センサの使用効率を低下させることなく撮影することが可能になる。

これは、実際に処理すべき画像データに対して、使用する画像センサのサイズを必要以上に大きくしなくてもよいことを意味し、コストダウンおよび処理速度の向上を図ることが可能になる。

すなわち、画像センサのサイズは、画像処理すべきサイズのもので対応可能となり、例えば、図２を参照して説明したような、重複領域を切り出して張り合わせるといった処理が不要となるため高速化を図ることができる。

図７は、本実施例が適用される画像処理装置の一例を示すブロック図であり、一般的な３Ｄ撮影が可能なデジタルカメラを示すものである。

図７に示されるように、画像処理装置（デジタルカメラ）１０は、光学ユニット１２，撮像素子（ＣＣＤ）１４，Ａ／Ｄコンバータ１６，液晶ディスプレイ（ＬＣＤ）１８および操作手段２０を有する。

また、デジタルカメラ）１０は、画像取り込み回路（被置換領域算出部）２２，信号処理部２４（置換処理部），ＬＣＤ制御部２６，外部記録メディア２８およびメディア制御部３０を有する。

さらに、デジタルカメラ１０は、オートフォーカス（Ａ／Ｆ）制御回路３２，インタフェース（Ｉ／Ｆ）部３４，ＣＰＵ（中央演算処理装置）３６，メインメモリ３８，ＲＯＭ４０およびバス４２を有する。なお、外部記録メディア２８は、例えば、ＳＤカード等のフラッシュメモリである。

図７において、二点鎖線で囲った部分を１つの半導体チップとして構成することができる。すなわち、半導体チップ１００は、例えば、互いにバス４２で接続された画像取り込み回路２２，信号処理部２４，ＬＣＤ制御部２６，メディア制御部３０，Ａ／Ｆ制御回路３２，Ｉ／Ｆ部３４，ＣＰＵ３６およびＲＯＭ４０を有する。

光学ユニット１２は、３Ｄ画像を得るために、図１を参照して説明したのと同様に３つのレンズＬ１，Ｌ２１およびＬ２２を有する。ここで、２つのレンズＬ２１およびＬ２２は、例えば、二次元画像を撮影する単眼のデジタルカメラのレンズＬ１に対して装着するステレオアダプタ（３Ｄ画像撮影用レンズ）として設けることができる。

撮像素子１４は、光学ユニット１２の光軸後方に配設され、光学データを電気信号に変換して出力し、Ａ／Ｄコンバータ１６は、撮像素子１４からのアナログ信号をデジタル信号に変換して画像取り込み回路２２へ出力する。

ＬＣＤ１８は、デジタルカメラ１０の撮影によって得られた画像や各種情報を表示し、操作手段２０は、レリーズボタン，モード切り替えスイッチおよび電源スイッチ等を含み、撮影者の操作に従って、様々な設定および操作を行うために使用される。

画像取り込み回路２２は、Ａ／Ｄコンバータ１６およびメモリコントローラ４３を介して入力される２画面の画像データを取り込んで、例えば、１ラインのデータを左右のラインメモリ４４に格納する。

画像比較回路４６は、左右のラインメモリ４４から、左右の比較対象座標を同時に読み出し、重複の有無を検出する。重複が検出されると、その時の座標値を座標カウンタ４８からメインメモリ３８へ転送する。なお、これらのデータは、バス４２を介してメインメモリ３８に格納される。

信号処理部２４は、所定の処理を施してデジタル画像データを生成するためのもので、メモリ５０および５２，補正アドレス算出部５１，演算プロセッサ５４，入力ＤＭＡコントローラ５６並びに出力ＤＭＡコントローラ５８を有する。

ここで、図５を参照して説明したように、入力ＤＭＡコントローラ５６は、補正アドレス算出部５１のアドレスに従って、全ラインのデータをメインメモリ３８から読み出す。また、出力ＤＭＡコントローラ５８は、演算プロセッサ５４で信号処理（ＹＣデータ変換）を行った後、メインメモリ３８にデータを書き戻す。

ＬＣＤ制御部２６は、ＬＣＤ１８に対する表示を制御し、メディア制御部３０は、例えば、スマートメディア，ＩＣカード，ＣＤ−ＲおよびＣＤＲＷ等の外部記録メディア２８に対する各種情報の読み書きを制御する。

Ａ／Ｆ制御回路３２は、光学ユニット１２の光学ズーム倍率および焦点を調整し、Ｉ／Ｆ部３４は、操作手段２０とのインタフェースを行い、ＣＰＵ３６は、デジタルカメラ１０の全体の制御を司る。メインメモリ３８は、主としてＣＣＤ１４による撮像で得られたデジタル画像データを記憶する。なお、ＲＯＭ４０には、各種プログラム，パラメータなどが予め記憶されている。

ここで、画像取り込み回路２２，信号処理部２４，ＬＣＤ制御部２６，メディア制御部３０，Ａ／Ｆ制御回路３２，Ｉ／Ｆ部３４，ＣＰＵ３６，メインメモリ３８およびＲＯＭ４０は、バス４２を介して相互に接続されている。

光学ユニット１２は、図示しないズームレンズ群およびフォーカスレンズを有し、さらに、それぞれを光軸方向に移動させるレンズ移動機構を備え、焦点距離の変更（変倍）が可能なズームレンズとして構成されている。

また、光学ユニット１２は、Ａ／Ｆ制御回路３２と接続され、Ａ／Ｆ制御回路３２の制御により、所望のズーム倍率となるようにズームレンズ群が光軸方向に移動（焦点距離可変レンズ）される。

レンズを通過した被写体像を示す入射光は、ＣＣＤ１４の受光面上に結像するようにフォーカスレンズが光軸方向に移動（オートフォーカス（ＡＦ）機構）されるようになっている。

これにより、ＣＣＤ１４は、光学ユニット１２のレンズを通過した被写体像を示す入射光に基づき被写体を撮像して被写体像を示すアナログ画像信号を出力する。このＣＣＤ１４の出力は、Ａ／Ｄコンバータ１６に入力され、ＣＣＤ１４により出力された被写体像を示すアナログ画像信号が、デジタル画像信号に変換される。

Ａ／Ｄコンバータ１６の出力は、画像取り込み回路２２に入力され、撮影時にＣＣＤ１４によって得られた被写体像を示す画像信号が、アナログ信号からデジタル信号に変換された後、デジタル画像データとして取り扱われる。

なお、重複座標を算出する回路は、画像取り込み回路２２に内蔵され、画像の取り込みと同時に、内蔵のラインメモリに格納して上述した座標の算出処理が行われる。なお、算出された座標および画像データは、例えば、メインメモリ３８に一旦格納される。

信号処理部２４では、入力されたデジタル画像データに対して、ホワイトバランス調整，ガンマ補正およびシャープネス補正等の各種補正処理、並びに、ＲＧＢデータをＹＣ信号に変換するＹＣ変換処理といった所定のデジタル信号処理を施す。

信号処理プロセッサ２４によりＹＣ変換されたデジタル画像データは、補正前の画像データとして、バス４２を介してメインメモリ３８に一旦格納される。

メインメモリ３８としては、例えば、ＳＲＡＭやＳＤＲＡＭといった大容量のメモリを用いることができる。なお、このようなメモリは、例えば、ライン方向への連続したアクセスは早いが、不連続なアドレスへのアクセスは遅いという特徴を有する。

デジタルカメラ１０では、この補正後の画像データを、図示しない圧縮伸長回路により所定の圧縮形式（例えば、ＪＰＥＧ）により圧縮した後、メディア制御部３０を介して、外部記録メディア２８（例えば、ＳＤカード等）に記憶する。

一方、ＬＣＤ制御部２６には、前述のＬＣＤ１８が接続されており、ＬＣＤ１８はＬＣＤ制御部２６の制御下で作動するようになっている。撮影時には、ＬＣＤ制御部２６は、バス４２を介してメインメモリ３８から補正後の画像データを読出して、ＬＣＤ１８に表示させる。

また、画像再生時には、外部記録メディア２８に記憶された再生対象とするデジタル画像データが読み出されて、図示しない圧縮伸長回路により伸長された後、ＬＣＤ制御部２６の制御によりＬＣＤ１８に表示される。

Ｉ／Ｆ部３４は、撮影者によって操作される各種スイッチやボタンなどの操作手段２０に接続されている。ＣＰＵ３６は、Ｉ／Ｆ部３４を介して撮影者による操作手段２０の操作状況を常時把握でき、その把握した操作状況に応じて、上記各部の動作を制御する。

以上において、本実施例の画像処理装置は、ビデオカメラおよび電子スチルカメラ等の撮影装置において、撮影対象の視差画像を撮影して立体映像を得る３Ｄ画像撮影装置に対して幅広く適用することができる。また、１つの画像センサに対して右および左用の２つの画像を撮像するものであれば、３Ｄ画像撮影用レンズを装着してサイドバイサイド方式の３Ｄ画像を撮影するものに限定されないのはいうまでもない。

以上の実施例を含む実施形態に関し、さらに、以下の付記を開示する。
（付記１）
撮像素子により第１画像および第２画像を取り込んで三次元立体画像を生成する画像処理装置であって、
前記第１画像および前記第２画像の境界付近において、前記第１画像および前記第２画像が混じり合う被置換領域を算出する被置換領域算出部と、
前記算出された前記第１画像における第１被置換領域を、前記第２画像における，前記第１被置換領域に対応する第１置換領域に置き換えると共に、前記算出された前記第２画像における第２被置換領域を、前記第１画像における，前記第２被置換領域に対応する第２置換領域に置き換える置換処理部と、
を有することを特徴とする画像処理装置。

（付記２）
前記被置換領域算出部は、
前記第１画像において、該第１画像が前記第２画像と混じり合って重複が生じる領域の第１座標を、前記第１被置換領域として算出し、且つ、
前記第２画像において、該第２画像が前記第１画像と混じり合って重複が生じる領域の第２座標を、前記第２被置換領域として算出する、
ことを特徴とする付記１に記載の画像処理装置。

（付記３）
前記置換処理部は、
前記被置換領域算出部により算出された前記第１画像における前記第１座標の画像を、前記第２画像における，前記第１座標に対応する座標の画像に置き換え、且つ、
前記被置換領域算出部により算出された前記第２画像における前記第２座標の画像を、前記第１画像における，前記第２座標に対応する座標の画像に置き換える、
ことを特徴とする付記２に記載の画像処理装置。

（付記４）
前記第１画像および前記第２画像は、前記撮像素子の第１方向に並んで配置され、
前記被置換領域算出部は、前記撮像素子の前記第１方向にスキャンして前記第１画像における前記第１座標を算出し、且つ、前記撮像素子の前記第１方向にスキャンして前記第２画像における前記第２座標を算出し、
前記置換処理部は、前記第１画像における前記第１座標がスキャンされるとき、前記第２画像における，前記第１座標に対応する座標の画像に置き換え、且つ、前記第２画像における前記第２座標がスキャンされるとき、前記第１画像における，前記第２座標に対応する座標の画像に置き換える、
ことを特徴とする付記３に記載の画像処理装置。

（付記５）
前記撮像素子により取り込んだ前記第１画像および前記第２画像を格納するメモリを有し、
前記置換処理部は、前記メモリにおいて前記第１画像の前記第１座標がスキャンされるとき、前記第２画像における，前記第１座標に対応する座標の画像データに変換して読み出し、且つ、前記メモリにおいて前記第２画像の前記第２座標がスキャンされるとき、前記第１画像における，前記第２座標に対応する座標の画像データに変換して読み出す、
ことを特徴とする付記４に記載の画像処理装置。

（付記６）
前記画像処理装置は、前記三次元立体画像を生成するための三次元画像撮影用レンズが後付け可能になっている、
ことを特徴とする付記１乃至付記５の何れか１項に記載の画像処理装置。

（付記７）
撮像素子により第１画像および第２画像を取り込んで三次元立体画像を生成する画像処理方法であって、
前記第１画像における，前記第２画像と混じり合って生じる第１重複領域を、前記第２画像における，前記第１重複領域に対応する第１置き換え領域に置き換えると共に、
前記第２画像における，前記第１画像と混じり合って生じる第２重複領域を、前記第１画像における，前記第２重複領域に対応する第２置き換え領域に置き換える、
ことを特徴とする画像処理方法。

１０ 画像処理装置（デジタルカメラ）
１２ 光学ユニット
１４ 撮像素子（ＣＣＤ）
１６ Ａ／Ｄコンバータ
１８ 液晶ディスプレイ（ＬＣＤ）
２０ 操作手段
２２ 画像取り込み回路（被置換領域算出部）
２４ 信号処理部（置換処理部）
２６ ＬＣＤ制御部
２８ 外部記録メディア
３０ メディア制御部
３２ オートフォーカス（Ａ／Ｆ）制御回路
３４ インタフェース（Ｉ／Ｆ）部
３６ ＣＰＵ（中央演算処理装置）
３８ メインメモリ
４０ ＲＯＭ
４２ バス
４３ メモリコントローラ
４４ ラインメモリ
４６ 画像比較回路
４８ 座標カウンタ
５０，５２ メモリ
５１ 補正アドレス算出部
５４ 演算プロセッサ
５６ 入力ＤＭＡコントローラ
５８ 出力ＤＭＡコントローラ

Claims (5)

1. 撮像素子により第１画像および第２画像を取り込んで三次元立体画像を生成する画像処理装置であって、
   前記第１画像および前記第２画像の境界付近において、前記第１画像および前記第２画像が混じり合う被置換領域を算出する被置換領域算出部と、
   前記算出された前記第１画像における第１被置換領域を、前記第２画像における，前記第１被置換領域に対応する第１置換領域に置き換えると共に、前記算出された前記第２画像における第２被置換領域を、前記第１画像における，前記第２被置換領域に対応する第２置換領域に置き換える置換処理部と、
   を有することを特徴とする画像処理装置。
2. 前記被置換領域算出部は、
   前記第１画像において、該第１画像が前記第２画像と混じり合って重複が生じる領域の第１座標を、前記第１被置換領域として算出し、且つ、
   前記第２画像において、該第２画像が前記第１画像と混じり合って重複が生じる領域の第２座標を、前記第２被置換領域として算出する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記置換処理部は、
   前記被置換領域算出部により算出された前記第１画像における前記第１座標の画像を、前記第２画像における，前記第１座標に対応する座標の画像に置き換え、且つ、
   前記被置換領域算出部により算出された前記第２画像における前記第２座標の画像を、前記第１画像における，前記第２座標に対応する座標の画像に置き換える、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記第１画像および前記第２画像は、前記撮像素子の第１方向に並んで配置され、
   前記被置換領域算出部は、前記撮像素子の前記第１方向にスキャンして前記第１画像における前記第１座標を算出し、且つ、前記撮像素子の前記第１方向にスキャンして前記第２画像における前記第２座標を算出し、
   前記置換処理部は、前記第１画像における前記第１座標がスキャンされるとき、前記第２画像における，前記第１座標に対応する座標の画像に置き換え、且つ、前記第２画像における前記第２座標がスキャンされるとき、前記第１画像における，前記第２座標に対応する座標の画像に置き換える、
   ことを特徴とする請求項３に記載の画像処理装置。
5. 撮像素子により第１画像および第２画像を取り込んで三次元立体画像を生成する画像処理方法であって、
   前記第１画像における，前記第２画像と混じり合って生じる第１重複領域を、前記第２画像における，前記第１重複領域に対応する第１置き換え領域に置き換えると共に、
   前記第２画像における，前記第１画像と混じり合って生じる第２重複領域を、前記第１画像における，前記第２重複領域に対応する第２置き換え領域に置き換える、
   ことを特徴とする画像処理方法。

Images