JP2013192152A - 撮像装置、撮像システムおよび画像処理方法 - Google Patents

Abstract

【課題】 超解像処理を利用することにより、同一の被写体について高画素数の２つの画像を得ることができ、装置全体のコストを低く抑えることのできる撮像装置を提供する。
【解決手段】 撮像装置は、高画素数の第１の画像を撮像する第１撮像部と、第１の画像と同一の被写体について、低画素数の第２の画像を撮像する第２の撮像部を備える。この撮像装置では、第１の画像から超解像処理用の参照データを生成し、参照データを用いた超解像処理を第２の画像に施して、高画素数の第３の画像が生成される。
【選択図】 図１

Description

本発明は、超解像処理を利用することにより同一の被写体について高画素数の２つの画像を生成する機能を備えた撮像装置に関するものである。

従来、互いに視差を有するように撮影した２つの画像（右目用画像と左目用画像）を用いて、立体的な画像（三次元画像）を表示する装置が知られている（例えば、特許文献１参照）。このような装置では、同一の被写体の右目用画像と左目用画像を、それぞれ右目と左目で見られるように表示することにより、被写体（前景）が背景から飛び出して見えるようにしている。

特開平９−２２４２６７号公報

近年、高画素かつ高解像度の画像を得ることができる撮像ユニットが提案されているが、そのような撮像ユニットのコストは高く、右目用画像と左目用画像の両方に高画素かつ高解像度の撮像ユニットを採用すると、装置全体のコストが高くなってしまうという問題があった。

本発明は、上記従来の問題を解決するためになされたもので、超解像処理を利用することにより同一の被写体について高画素数の２つの画像を得ることができ、装置全体のコストを低く抑えることのできる撮像装置を提供することを目的とする。

本発明の撮像装置は、第１の画素数を有する第１の画像を撮像する第１の撮像部と、前記第１の画像と同一の被写体について、前記第１の画素数より少ない第２の画素数を有する第２の画像を撮像する第２の撮像部と、前記第１の画像から超解像処理用の参照データを生成する参照データ生成部と、前記参照データを用いた超解像処理を前記第２の画像に施して、前記第１の画素数を有する第３の画像を生成する超解像処理部と、を備えた構成を有している。

この構成により、同一の被写体について、画素数の異なる２つの画像（第１の画像と第２の画像）が撮像される。そして、高画素数の画像（第１の画像）から超解像処理用の参照データが生成され、参照データを用いた超解像処理が低画素数の画像（第２の画像）に施され、第１の画像と同じ画素数の画像（第３の画像）が生成される。このようにして、同一の被写体について、高画素数の２つの画像（第１の画像と第３の画像）を得ることができる。

この場合、一方の画像（第１の画像）用に高画素かつ高解像度の高価な撮像部を採用し、他方の画像（第２の画像）用に低画素かつ低解像度の廉価な撮像部を採用することができ、２つの画像（第１の画像と第２の画像）の両方に高画素かつ高解像度の撮像部を採用する場合に比べて、装置全体のコストを低く抑えることができる。

また、本発明の撮像装置では、前記第２の画像は、前記第１の画像と視差を有する画像であり、前記第１の画像と前記第３の画像から３次元画像を生成する３次元画像生成部を備えた構成を有している。

この構成により、同一の被写体について得られる高画素数の２つの画像（第１の画像と第３の画像）から、高画素数の３次元画像を生成することができる。

また、本発明の撮像装置では、前記３次元画像生成部は、前記第１の画像と前記第３の画像の切出し範囲の画像に基づいて前記３次元画像を生成し、前記第１の画像の切出し範囲と、前記第３の画像の切出し範囲は、等しくなるように設定される構成を有している。

この構成により、第１の画像と第３の切出し範囲の画像に基づいて、３次元画像が生成される。この場合、第１の画像の切出し範囲と第３の画像の切出し範囲が等しくなるように設定される。このようにして、３次元画像を生成するときの画角あわせが適切に行われる。

また、本発明の撮像装置は、ユーザ入力に基づいて、前記画像の切出し範囲を設定する領域設定部を備えた構成を有している。

この構成により、画像の切出し範囲として、所望の領域（３次元画像として表示したい領域）をユーザ入力によって設定することができる。

また、本発明の撮像装置では、前記第１の画像と前記第２の画像は、歪みを有する画像であり、歪みを有する前記第１の画像と前記第３の画像に対して歪み補正を行う歪み補正部を備えた構成を有している。

この構成により、第１の画像と第２の画像が歪みを有する画像である場合であっても、歪みが補正された高画素数の画像（第１の画像と第３の画像）を生成することができる。

本発明のシステムは、第１の画素数を有する第１の画像を撮像する第１の撮像装置と、前記第１の画像と同一の被写体について、前記第１の画素数より少ない第２の画素数を有する第２の画像を撮像する第２の撮像装置と、前記第１の画像から超解像処理用の参照データを生成し、前記参照データを用いた超解像処理を前記第２の画像に施して、前記第２の画像より解像度の高い第３の画像を生成する超解像処理装置と、を備えた構成を有している。

このシステムによっても、上記と同様に、同一の被写体について、高画素数の２つの画像（第１の画像と第３の画像）を得ることができる。また、２つの画像（第１の画像と第２の画像）の両方に高画素かつ高解像度の撮像部を採用する場合に比べて、装置全体のコストを低く抑えることができる。

本発明の方法は、第１の画素数を有する第１の画像から超解像処理用の参照データを生成し、前記参照データを用いた超解像処理を、前記第１の画像と同一の被写体で、前記第１の画素数より少ない第２の画素数を有する第２の画像に施して、前記第２の画像より解像度の高い第３の画像を生成するものである。

この方法によっても、上記と同様に、同一の被写体について、高画素数の２つの画像（第１の画像と第３の画像）を得ることができる。また、２つの画像（第１の画像と第２の画像）の両方に高画素かつ高解像度の撮像部を採用する場合に比べて、装置全体のコストを低く抑えることができる。

本発明は、超解像処理を利用することにより、同一の被写体について高画素数の２つの画像を得ることができ、装置全体のコストを低く抑えることができるという効果を有する撮像装置を提供することができるものである。

本発明の第１の実施の形態における撮像装置のブロック図 本発明の第１の実施の形態において撮像装置で行われる処理の説明図 本発明の第１の実施の形態における学習データの生成の説明図 本発明の第１の実施の形態において電子ＰＴＺが行われるときの学習データの生成の説明図 本発明の第１の実施の形態における撮像装置の動作説明のためのフロー図 本発明の第２の実施の形態における撮像装置のブロック図 本発明の第２の実施の形態において撮像装置で行われる処理の説明図 本発明の第２の実施の形態における撮像装置の動作説明のためのフロー図

以下、本発明の実施の形態の撮像装置について、図面を用いて説明する。本実施の形態では、３Ｄカメラ等として用いられる撮像装置の場合を例示する。

（第１の実施の形態）
本発明の第１の実施の形態の撮像装置の構成を、図面を参照して説明する。図１は、本実施の形態の撮像装置の構成を説明するためのブロック図であり、図２は、撮像装置で行われる処理の説明図である。図１に示すように、撮像装置１には、２つの撮像部（第１撮像部２と第２撮像部３）が備えられている。図２に示すように、第１撮像部２は、高解像度かつ高画素数の画像（第１の画像）を撮影する。第２撮像部３は、低解像度かつ低画素数の画像（第２の画像）を撮影する。第１の画像と第２の画像は、同一の被写体を写した画像であり、互いに視差を有している。例えば、第１の画像は右目用画像であり、第２の画像は左目用画像である。また、第１の画像の画素数は５メガピクセルであり、第２の画像の画素数は１．３メガピクセルである。

また、図１に示すように、撮像装置１には、学習データ生成部４と学習超解像処理部５が備えられている。学習データ生成部４は、第１の画像から超解像処理用の参照データとして学習データを生成する。学習超解像処理部５は、学習データを用いた超解像処理を第２の画像に施して、第１の画像と同じ画素数を有する第３の画像を生成する。例えば、図２に示すように、１．３メガピクセルの第２の画像（左目用画像）に超解像処理を施して、５メガピクセルの第３の画像（左目用画像）が生成される。

ここで、図３と図４を参照しながら、学習データの生成について説明しておく。この撮像装置１では、フレーム差分の移動体検出エリアについて学習データの生成が行われる。図３（ａ）に示すように、まず、初期フレーム（例えば、フレームＮ）の第１の画像から学習データが生成される。この例では、木や家など（静止体）の学習データが生成される。そして、図３（ｂ）に示すように、次のフレーム（例えば、フレームＮ＋１）の第１の画像からは、フレーム差分の移動体検出エリアについてのみ学習データが生成される。この例では、人間（移動体）が検出されたエリアのみ学習データが生成される。このようにして、学習データ生成の演算量が削減されている。

また、この撮像装置１には、電子ＰＴＺ（パン・チルト・ズーム）の機能が備えられていても良い。その場合、図４に示すように、電子ＰＴＺ領域を考慮した学習データの生成が行われる。例えば、図４（ａ）に示すように、電子ＰＴＺ領域に移動体が含まれない場合には、電子ＰＴＺにより新規に画角に含まれることになった領域について、学習データが生成される。一方、電子ＰＴＺにより画角に含まれなくなった領域については、学習データが削除される。電子ＰＴＺの前後で画角に含まれている領域については、学習データが再利用される（学習データの生成も削除も行われない）。また、図４（ｂ）に示すように、電子ＰＴＺ領域に移動体が含まれる場合には、人間（移動体）が検出されたエリアについても学習データが生成される。

図１と図２に戻って、撮像装置１の構成の説明を続ける。図１に示すように、撮像装置１には、領域設定部６と３次元画像生成部７が備えられている。領域設定部６は、３次元画像とされるべき画像領域（切出し範囲）を設定する。例えば、ユーザ入力に基づいて、所望の領域（３次元画像として表示したい領域）が、切出し範囲として手動で設定される。あるいは、第１の画像と第２の画像に含まれる特徴点（対応する特徴点）に基づいて、切出し範囲が自動で設定されてもよい。例えば、第１の画像と第２の画像に含まれる３つの特徴点を検出し、矩形の切出し範囲（矩形の対角点の座標）が設定されてもよい。

なお、学習データ生成部４は、第１の画像のうち領域設定部６で設定された切出し範囲から学習データを生成し、学習超解像処理部５は、第２の画像のうち領域設定部６で設定された切出し範囲（第１の画像と同じ画角の範囲）に対して学習超解像処理を行う。

３次元画像生成部７は、第１の画像と第３の画像から３次元画像を生成する。例えば、図２に示すように、第１の画像の切出し範囲の画像（５メガピクセルのＲＡＷデータ）にＹＣ処理が施されて、右目用画像（５メガピクセルのＹＣデータ）が生成される。また、第３の画像の切出し範囲の画像（５メガピクセルのＲＡＷデータ）にＹＣ処理が施されて、左目用画像（５メガピクセルのＹＣデータ）が生成される。この場合、第１の画像からの画像の切出し範囲と、第３の画像からの画像の切出し範囲は、それぞれ５メガピクセルであり、互いに等しくなるように設定される。

以上のように構成された第１の実施の形態の撮像装置１について、図５のフロー図を参照してその動作を説明する。

本実施の形態の撮像装置１では、まず、第１撮像部２から第１の画像（右目用画像）が入力されるとともに、第２撮像部３から第２の画像（左目用画像）が入力される（Ｓ１、Ｓ２）。つぎに、領域設定部６から第１の画像と第２の画像の切出し範囲（画角）を決定するパラメータ（画角調整パラメータ）が入力され（Ｓ３、Ｓ４）、第１の画像と第２の画像から画像の切出しが行われる（Ｓ５、Ｓ６）。

続いて、第２の画像から切り出された領域に含まれている被写体が、第１の画像から切り出された領域に含まれているか否かの判定が行われ（Ｓ７）、被写体が含まれていない場合には、その被写体が含まれるようになるまで第１の画像の切出し範囲を拡大する処理が行われる（Ｓ８）。そして、第１の画像のうちの切出し範囲の画像から学習データを生成し（Ｓ９）、その学習データを用いて第２の画像の超解像処理（学習超解像処理）が実行され、第３の画像が生成される（Ｓ１０）。最後に、第１の画像と第３の画像の切出し範囲の画像にＹＣ処理が施されて、右目用画像と左目用画像が生成される（Ｓ１１、Ｓ１２）。

このような第１の実施の形態の撮像装置１によれば、学習超解像処理を利用することにより、同一の被写体について高画素数の２つの画像を得ることができ、装置全体のコストを低く抑えることができる。

すなわち、本実施の形態では、同一の被写体について、画素数の異なる２つの画像（第１の画像と第２の画像）が撮像される。そして、高画素数の画像（第１の画像）から超解像処理用の学習データが生成され、学習データを用いた超解像処理が低画素数の画像（第２の画像）に施され、第１の画像と同じ画素数の画像（第３の画像）が生成される。このようにして、同一の被写体について、高画素数の２つの画像（第１の画像と第３の画像）を得ることができる。

この場合、一方の画像（第１の画像）用に高画素かつ高解像度の高価な撮像部（第１撮像部２）を採用し、他方の画像（第２の画像）用に低画素かつ低解像度の廉価な撮像部（第２撮像部３）を採用することができ、２つの画像（第１の画像と第２の画像）の両方に高画素かつ高解像度の撮像部を採用する場合に比べて、装置全体のコストを低く抑えることができる。

また、本実施の形態では、同一の被写体について得られる高画素数の２つの画像（第１の画像と第３の画像）から、高画素数の３次元画像（右目用画像と左目用画像）を生成することができる。

また、本実施の形態では、第１の画像と第３の切出し範囲の画像に基づいて、３次元画像が生成される。この場合、第１の画像の切出し範囲と第３の画像の切出し範囲が等しくなるように設定される。このようにして、３次元画像を生成するときの画角あわせが適切に行われる。

また、本実施の形態では、画像の切出し範囲として、所望の領域（３次元画像として表示したい領域）をユーザ入力によって設定することができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態の撮像装置１について説明する。ここでは、第２の実施の形態の撮像装置１が、第１の実施の形態と相違する点を中心に説明する。ここで特に言及しない限り、本実施の形態の構成および動作は、第１の実施の形態と同様である。

図６は、本実施の形態の撮像装置１の構成を説明するためのブロック図であり、図７は、撮像装置１で行われる処理の説明図である。図６および図７に示すように、第１撮像部２と第２撮像部３は、魚眼カメラ（あるいは広角カメラ）で構成されている。したがって、この場合、第１の画像と第２の画像は、歪みを有する画像である。

また、図６および図７に示すように、この撮像装置１には、歪み補正部８とカメラ信号処理部９が備えられている。歪み補正部８は、歪みを有する第１の画像と第３の画像に対して歪み補正を行う。カメラ信号処理は、第１の画像と第３の画像に対してＲＡＷデータをＹＣデータに変換するなどのカメラ信号処理を行う。

この場合、第１の画像と第３の画像について、歪み補正処理が行われた後に、カメラ信号処理が行われる。また、第２の画像について、学習超解像処理が行われた後に、歪み補正処理が行われる。なお、第１の画像と第３の画像については、カメラ信号処理が行われた後に、歪み補正処理が行われてもよい。

以上のように構成された第２の実施の形態の撮像装置１について、図８のフロー図を参照してその動作を説明する。

本実施の形態の撮像装置１では、まず、第１撮像部２から第１の画像（歪みを有する右目用画像）が入力されるとともに、第２撮像部３から第２の画像（歪みを有する左目用画像）が入力される（Ｓ１、Ｓ２）。つぎに、領域設定部６から第１の画像と第２の画像の切出し範囲（歪み補正対象エリア）を決定するパラメータ（画角調整パラメータ）が入力され（Ｓ３、Ｓ４）、第１の画像と第２の画像から歪み対象エリアの画像の切出しが行われる（Ｓ５、Ｓ６）。

続いて、第２の画像から切り出された領域に含まれている被写体が、第１の画像から切り出された領域（歪み補正対象エリア）に含まれているか否かの判定が行われ（Ｓ７）、被写体が含まれていない場合には、その被写体が含まれるようになるまで第１の画像の切出し範囲（歪み補正対象エリア）を拡大する処理が行われる（Ｓ８）。そして、第１の画像のうちの切出し範囲（歪み補正対象エリア）の画像から学習データを生成し（Ｓ９）、その学習データを用いて第２の画像の超解像処理（学習超解像処理）が実行され、第３の画像が生成される（Ｓ１０）。そして、第１の画像と第３の画像の切出し範囲（歪み補正対象エリア）の画像に歪み補正処理が施された後（Ｓ１３、Ｓ１４）、第１の画像と第３の画像の切出し範囲の画像にＹＣ処理が施されて、右目用画像と左目用画像が生成される（Ｓ１１、Ｓ１２）。

このような第２の実施の形態の撮像装置１によっても、第１の実施の形態と同様の作用効果が奏される。

その上、本実施の形態では、第１の画像と第２の画像が歪みを有する画像である場合であっても、歪みが補正された高画素数の画像（第１の画像と第３の画像）を生成することができる。

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

例えば、以上の説明では、本発明を一つの装置（撮像装置１）として実現する場合について説明したが、本発明の範囲はこれに限定されるものではなく、複数の装置（例えば、撮像装置と画像処理装置）によって構成されるシステムとしても同様に実現可能である。

以上のように、本発明にかかる撮像装置は、超解像処理を利用することにより同一の被写体について高画素数の２つの画像を得ることができ、装置全体のコストを低く抑えることができるという効果を有し、３Ｄカメラ等として有用である。

１ 撮像装置
２ 第１撮像部
３ 第２撮像部
４ 学習データ生成部
５ 学習超解像処理部
６ 領域設定部
７ ３次元画像生成部
８ 歪み補正部
９ カメラ信号処理部

Claims (7)

1. 第１の画素数を有する第１の画像を撮像する第１の撮像部と、
   前記第１の画像と同一の被写体について、前記第１の画素数より少ない第２の画素数を有する第２の画像を撮像する第２の撮像部と、
   前記第１の画像から超解像処理用の参照データを生成する参照データ生成部と、
   前記参照データを用いた超解像処理を前記第２の画像に施して、前記第１の画素数を有する第３の画像を生成する超解像処理部と、
   を備えたことを特徴とする撮像装置。
2. 前記第２の画像は、前記第１の画像と視差を有する画像であり、
   前記第１の画像と前記第３の画像から３次元画像を生成する３次元画像生成部を備えたことを特徴とする請求項１に記載の撮像装置。
3. 前記３次元画像生成部は、前記第１の画像と前記第３の画像の切出し範囲の画像に基づいて前記３次元画像を生成し、
   前記第１の画像の切出し範囲と、前記第３の画像の切出し範囲は、等しくなるように設定されることを特徴とする請求項２に記載の撮像装置。
4. ユーザ入力に基づいて、前記画像の切出し範囲を設定する領域設定部を備えたことを特徴とする請求項３に記載の撮像装置。
5. 前記第１の画像と前記第２の画像は、歪みを有する画像であり、
   歪みを有する前記第１の画像と前記第３の画像に対して歪み補正を行う歪み補正部を備えたことを特徴とする請求項１ないし請求項４のいずれかに記載の撮像装置。
6. 第１の画素数を有する第１の画像を撮像する第１の撮像装置と、
   前記第１の画像と同一の被写体について、前記第１の画素数より少ない第２の画素数を有する第２の画像を撮像する第２の撮像装置と、
   前記第１の画像から超解像処理用の参照データを生成し、
   前記参照データを用いた超解像処理を前記第２の画像に施して、前記第２の画像より解像度の高い第３の画像を生成する超解像処理装置と、
   を備えたことを特徴とする撮像システム。
7. 第１の画素数を有する第１の画像から超解像処理用の参照データを生成し、
   前記参照データを用いた超解像処理を、前記第１の画像と同一の被写体で、前記第１の画素数より少ない第２の画素数を有する第２の画像に施して、前記第２の画像より解像度の高い第３の画像を生成することを特徴とする画像処理方法。

Images