JP2010141752A - 立体視画像生成方法 - Google Patents

Abstract

【課題】一枚の原画のみを使用し、画像内に遠近感を与えると共に処理の簡単な擬似立体視画像生成方法及び立体視画像並びにプログラムを提供することを目的とする。
【解決手段】右目用の画像は前記静止画または動画を画像の上部に対して下端が左側に寄った平行四辺形となるようゆがめ、左目用画像は前記静止画または動画を画像の下部に対して上端が右側に寄った平行四辺形となるようにゆがめる。
【選択図】図１

Description

本発明は、画像内に遠近感を与える立体視画像生成方法に関する。

従来の立体視表示方法としては左右で偏光方向の異なる偏光眼鏡や左右で時差を設けたシャッター機能眼鏡を利用して左右の眼に視差の異なる画像を認識させることにより擬似立体認識をさせるものや、画像の手前に見る方向によって異なる画像を認識させるための縦格子上のレンズ等を用いるものがある。

上記したいずれのものであっても、通常は左右の眼用の画像としては複数のカメラで撮影した異なる写真や、これに相当する複数の異なる図画等を事前に用意しておく必要がある。
これに対して、一枚の画像を処理してあたかも視差のあるかのような左右の眼用の立体視画像を生成する方法が開示されている。例えば、平面画像をいくつかのブロックに分割し、ブロックごとの奥行き量を輝度積算、彩度積算等の計算で推定し、推定した奥行き量に基づく視差を補正することにより左右の各眼用画像を生成する技術が開示されている（例えば、特許文献1参照。）。

このような技術によれば、ブロック間の境界で画像の不連続を生じやすく、これを目立たなくするためにブロックを細かく分割したり、画素単位で計算したときは処理時間が長くなるといった問題がある。さらに、日射や日陰が混在するようにコントラストの強い画像や彩度に遠近に関係ないむらのある画像の場合には正確な奥行き量の推定が効率的にできないといった問題もある。

一方、レンティキュラーレンズのピッチ以下の１つ以上の様々な距離だけ横方向にシフトすることにより、一枚の原画像から複数枚の仮想画像を生成する方法も知られている（例えば、特許文献２参照。）が、均一なシフト量では画像全体を浮き出すことはできても、画像内に遠近感を与えることはできない。

さらに、従来の複数のカメラで撮影した立体視画像の場合にも、複数のカメラ間の距離等が不適切であれば、十分な立体感が得られない場合や、過度な遠近感による不自然で鑑賞者に極度の疲労を与える場合がある。
特開平９−１８５７１２号公報 特開２００４−３３３７０６号公報

本発明は、上記事情に鑑み、一枚の原画のみを使用し、画像内に遠近感を与えると共に処理の簡単な擬似立体視画像生成方法及び立体視画像並びにプログラムを提供することを目的とする。

上記目的を達成するための本発明の立体視画像生成方法及び立体視画像並びにプログラムは、 単一のカメラで撮影した静止画または動画を右目、左目用の各画像に変換する立体視画像生成方法において、
（１）右目用の画像は前記静止画または動画を画像の上部に対して下端が左側に寄った平行四辺形となるようゆがめ、左目用画像は前記とは逆にゆがめることを特徴とするものである。
ここで、
（２）前記上部は、前記画像の上端部にしてもよい。
また、
（３）前記上部は画像の中の視点を中心にする水平線であってもよい。
さらに、右目用の画像を平行四辺形となるようゆがめる際には、
（４）右目用の画像は前記静止画または動画を画像の前記上部に対して上端が左側に寄った平行四辺形となるようゆがめ、左目用画像はその逆にゆがめてもよい。

さらにまた、
（５）前記画像の左右中心のゆがみを、画像の左右のゆがみに比べて大きくしてもよい。
（６）前記画像中の人物、建物及び立木等のオブジェクトの少なくとも一部は前記ゆがみのないようにしてもよい。
（７）また前記ゆがみのないオブジェクトのみ、それらをゆがませた場合のオブジェクトが隠れる程度に拡大して前方に重ねてもよい。
上記目的を達成するための本発明の立体視画像は、
（８）請求項８の画像を複製して作成されたことを特徴とするものである。
（９）上記した立体視画像生成方法によって生成された画像を複製して作成されたものである。
上記目的を達成するための本発明のプログラムは、
（１０）上記した立体視画像生成方法でコンピューターに立体視画像を生成させるためのプログラム。
上記では、原画の上端に対し下端部を左右にずらす発明を述べてきたが、室内やトンネル内のように画像の上部に天井が表現されている場合は画像内の視点高さを中心とした水平線を基準とし、例えば右眼用であれば画像の上下端部をそれぞれ左側にずらしても良い。この点については、後述する図８、図９を参照して実施例２で説明する。
さらに、山のふもとから近くの山を撮影したり描画したような画像に対しては画像の左右中心部のゆがみ率を画像の左右に比べて大きくすることにより、山の中央部が膨らんで見え、より立体感を高めることができる。この点については、後述する図１０、図１１を参照して実施例３で説明する。

複数のカメラで撮影した立体視画像の立体感が不足する場合には、これら複数の画像のうちの少なくとも一部の画像を上記の一枚の原画から立体視画像を生成するのと同じ方法で修正することにより、立体感の改善ができることは明らかである。但しオブジェクトを拡大して重ねる場合には、全ての画像に適用しなければならないことはいうまでもない。

上記とは逆に、過度な立体感で鑑賞者に不自然な感じや疲労を与えるおそれのある複数のカメラで撮影した立体視画像の場合には、これら画像のうちの少なくとも一部の画像に左右逆の修正方法を適用すれば、より自然で疲労感の少ない立体視画像が得られる。

本発明は、画像内に遠近感を与える立体視画像生成方法に実現された。

図１を参照して本発明の立体視画像生成方法の手順の一例を説明する。
図１は、本発明の立体視画像生成方法の手順の一例を示すフロー図である。

先ず、単一のカメラで撮影した静止画または動画を右目、左目用の各画像に変換するために、画像の視点を解析するか否かを選定する（Ｓ１）。ここで、「画像の視点を解析する」とは、画像を上下方向の奥行き量を輝度積算、彩度積算等の計算で推定し、推定した奥行き量の最大位置をもって視点を求めることをいう。Ｓ１でＹＥＳのときは、視点位置を最も遠くに立体視するために、画像を視点の上と下に２分割する（Ｓ２）。ただし、視点処理入力Ｓ１でＮＯの場合は画像を上下に２分割する必要はなく、中央膨らみ処理入力Ｓ４でＮＯの場合には画像を左右に２分割する必要はなく、いずれもＮＯであれば画像の分割（Ｓ６）は実施されない。
したがって、Ｓ６の画像分割では必ずしも４分割ではなく、上下または左右の２分割でもよく、図２に示すような一枚の原画を図３に示すように分割せずに上部に対して下端部が左にずれた平行四辺形となるようにゆがめて、右目用画像としてもよい。Ｓ６が終了後、下記のＳ７（ゆがみ処理）に進む。
これに対し、建物、立木および人物のような高さのある物体（以下オブジェクトと呼ぶ）はその上下に遠近感を与える必要がないため、図４に示すようにゆがみのない形を切り抜き（Ｓ９）ゆがんだオブジェクトの前面に重ねる。

この場合、図５に示すように前面に重ねるオブジェクトはゆがんだオブジェクトが完全に隠れる程度に拡大する（Ｓ１０）。この拡大率は前記平行四辺形のゆがみ率以上であればよく、例えば縦１００ｍｍの画像を横に５ｍｍゆがませたのであれば５％以上となる。

このオブジェクトの拡大はゆがんだオブジェクトを完全に隠して、重ねたオブジェクトとゆがんだ背景との境界が不自然とならないためであり、ゆがんだオブジェクトの占有範囲が水平方向のみ増加するため、上下方向の拡大率はこれ以下でもよく、ほとんど拡大しなくても良い。

左眼用画像の生成は右眼用の逆に画像の下端部を右側にゆがめればよい。右眼用立体視生成画像と左眼用の画像をそれぞれ図６、図７に示す。

以上、原画の上端に対し下端部を左右にずらす方法を説明してきたが、図８に示す室内やトンネル内のように画像の上部に天井が表現されている場合は、図９に示すように、画像内の視点高さを中心とした水平線を基準とし、例えば右目用であれば画像の上下端部をそれぞれ左側にずらしても良い。

さらに、図１０に示すように、山のふもとから近くの山を撮影したり描画したような画像に対しては、図１１に示すように、画像の左右中心部のゆがみ率を画像の左右に比べて大きくすることにより、山の中央部が膨らんで見え、より立体感を高めることができる。

一方、複数のカメラで撮影した立体視画像の立体感が不足する場合には、これら複数の画像のうちの少なくとも一部の画像を上記の一枚の原画から立体視画像を生成するのと同じ方法で修正することにより、立体感の改善ができることは明らかである。但しオブジェクトを拡大して重ねる場合には、全ての画像に適用しなければならないことはいうまでもない。
なお、体感で鑑賞者に不自然な感じや疲労を与える惧れのある複数のカメラで撮影した立体視画像の場合には、これとは逆に、過度な立ら画像のうちの少なくとも一部の画像に左右逆の修正方法を適用すれば、より自然で疲労感の少ない立体視画像が得られる。

本発明の立体視画像生成方法の手順の一例を示すフロー図である。 実施例１の原画 分割せずにゆがめて作成した右目用画像を示す説明図である。 ゆがみのない形を切り抜いてゆがんだオブジェクトの前面に重ねた画像を示す説明図である。 ゆがんだオブジェクトが完全に隠れる程度に拡大した前面に重ねるオブジェクトを示す説明図である。 実施例１の右目用立体視生成画像を示す説明図である。 実施例１の左目用立体視生成画像を示す説明図である。 実施例２の天井が表現されている場合を示す説明図である。 実施例２の水平線を基準とした場合を示す説明図である。 実施例３の山のふもとから近くの山を撮影した場合を示す説明図である。 画像の左右中心部のゆがみ率を画像の左右に比べて大きくした場合を示す説明図である。

Claims (10)

1. 単一のカメラで撮影した静止画または動画を右目、左目用の各画像に変換する立体視画像生成方法において、
   右目用の画像は前記静止画または動画を画像の上部に対して下端が左側に寄った平行四辺形となるようゆがめ、左目用画像は前記とは逆にゆがめることを特徴とする立体視画像生成方法。
2. 前記上部は、前記画像の上端部にすることを特徴とする請求項１に記載の立体視画像生成方法。
3. 前記上部は画像の中の視点を中心にする水平線であることを特徴とする請求項１に記載の立体視画像生成方法。
4. 右目用の画像は前記静止画または動画を画像の前記上部に対して上端が左側に寄った平行四辺形となるようゆがめ、左目用画像はその逆にゆがめることを特徴とする請求項３に記載の立体視画像生成方法。
5. 前記画像の左右中心のゆがみは画像の左右のゆがみに比べて大きいことを特徴とする請求項１乃至請求項４記載の立体視画像生成方法。
6. 前記画像中の人物、建物及び立木等のオブジェクトの少なくとも一部は前記ゆがみのないことを特徴とする請求項１乃至請求項５記載の立体視画像生成方法。
7. 前記ゆがみのないオブジェクトのみ、それらをゆがませた場合のオブジェクトが隠れる程度に拡大して前方に重ねたことを特徴とする請求項６に記載の立体視画像生成方法。
8. 請求項1ないし請求項７記載の立体視画像生成方法で生成されたことを特徴とする立体視画像。
9. 請求項８の画像を複製して作成されたことを特徴とする立体視画像。
10. 請求項１乃至請求項７の立体視画像生成方法でコンピューターに立体視画像を生成させるためのプログラム。