JP2006080982A - 立体視画像生成装置およびプログラム - Google Patents

Abstract

【課題】 画質の劣化を抑制しつつ自然な立体感の立体視画像を生成する。
【解決手段】 ＲＡＭ２３には、原画像IMG0を構成する複数の画素Ｐixの各々について画素値Ｇが記憶される。ＣＰＵ１０は、各画素Ｐixの画素値Ｇとその画素Ｐixに対して行方向に隣接する画素Ｐixの画素値Ｇとの大小に基づいて各画素Ｐixの奥行き値Ｚを決定し、この奥行き値Ｚに基づいて立体視画像を生成する。
【選択図】 図８

Description

本発明は、観察者に立体として知覚される画像を生成するための技術に関する。

相互に視差を有する２つの画像のうち一方を左目に視認させるとともに他方を右目に視認させると、観察者にその画像を立体として知覚させることができる。このような視差を有する画像（以下「立体視画像」という）を素材となる平面画像（以下「原画像」という）から生成するための技術が従来から提案されている（例えば特許文献１参照）。この技術においては、原画像の各画素の彩度が被写体の奥行き値として選定され、この奥行き値に応じた距離だけ各被写体の画素を左右に移動させた一対の画像を合成することによって立体視画像が生成される。
特開２００２−１２３８４２号公報（段落００３３および図７）

しかしながら、この方法においては、各画素の彩度に応じてその画素の移動量が決定されるため、利用者によって自然な立体感が知覚される立体視画像を必ずしも生成することができないという問題があった。例えば、光の照射によって局所的に高階調（淡い階調）となった被写体や影によって局所的に低階調（濃い階調）となった被写体が原画像に含まれている場合、ひとつの被写体を構成する総ての画素の奥行き値は本来ならば略同一となるべきであるにも関わらず、光や影が存在する部分とそれ以外の部分とで奥行き値が相違することになる。このため、観察者は、被写体の一部だけが局所的に飛び出す（あるいは引っ込む）といった不自然な立体感を知覚することになる。さらに、各画素の奥行き値によっては、原画像にて隣接する各画素が互いに異なる方向に移動させられる場合がある。これは画素クロス（ピクセルクロス）と称される現象であり、これにより画像の歪みといった画質の劣化が引き起こされる。特に、原画像のうち複数の被写体が重なり合う箇所では画素クロスが発生し易いため、画質の劣化はいっそう深刻な問題となる。

本発明は、このような事情に鑑みてなされたものであり、その目的は、画質の劣化を抑制しつつ自然な立体感の立体視画像を生成することにある。

この課題を解決するために、本発明に係る立体視画像生成装置は、右目用画像と左目用画像とが合成された立体視画像を原画像から生成する装置であって、原画像を構成する複数の画素の各々について画素値を記憶する画素値記憶手段と、原画像を構成する各画素の画素値とその画素に隣接する画素の画素値との大小に基づいて各画素の奥行き値を決定する決定手段と、前記決定手段が決定した各画素の奥行き値に基づいて立体視画像を生成する立体化手段とを具備する。例えば、各画素の奥行き値は、当該画素の画素値と、この画素に対して行方向（Ｘ方向）または列方向（Ｙ方向）に隣接する画素の画素値との大小に応じて決定される。
すなわち、特許文献１に記載された従来の構成においては、ひとつの画素の画素値から直接的にその画素の奥行き値が決定されるのに対し、本発明の立体視画像生成装置においては、互いに隣接する画素の画素値の関係に応じて各画素の奥行き値が決定される。したがって、本発明によれば、従来の構成と比較して、自然な立体感をもった立体視画像を生成することができる。

本発明の望ましい態様において、原画像を構成する各画素は各々の表示色が相違する複数のサブ画素を含み、各サブ画素の階調値を画素ごとに記憶するサブ画素記憶手段と、前記サブ画素記憶手段に記憶された各サブ画素の階調値に基づいて画素ごとの画素値を算定する算定手段とを具備し、前記画素値記憶手段は、前記算定手段によって算定された画素値を画素ごとに記憶する。この態様によれば、各サブ画素の階調値に基づいて画素ごとの画素値が算定されるから、複数色からなるカラー画像が原画像とされる場合であっても自然な立体視画像を生成することができる。
さらに望ましい態様において、前記算定手段は、ひとつの画素に属する各サブ画素の階調値を２値化し、２値化された各階調値を表示色ごとに重み付けしたうえで加算し、この加算値に基づいて当該画素の画素値を算定する。この態様によれば、各サブ画素の階調値を表示色ごとに重み付けした数値に基づいて画素値が算定されるから、各色に対する感度が相違する人間の視覚特性に適合した立体視画像を生成することができる。
より具体的には、人間の視覚特性は、緑色に対する感度が最大で青色に対する感度が最小となる特性を示す。そこで、各画素が赤色のサブ画素と緑色のサブ画素と青色のサブ画素とを含む場合、前記算定手段は、各画素について、緑色のサブ画素について２値化された階調値と第１の重み値との乗算値と、赤色のサブ画素について２値化された階調値と前記第１の重み値よりも小さい第２の重み値との乗算値と、青色のサブ画素について２値化された階調値と前記第２の重み値よりも小さい第３の重み値との乗算値とを加算し、この加算値に基づいて当該画素の画素値を算定する。

本発明の他の態様において、奥行き値を記憶する奥行き値記憶手段を具備し、前記決定手段は、原画像を構成する複数の画素の各々をその配列に沿って順番に選択する選択手段と、前記選択手段が選択した画素の画素値と当該画素に隣接する画素の画素値との大小に応じて、前記奥行き値記憶手段に記憶された奥行き値を変更する変更手段とを有し、前記立体化手段は、前記選択手段が画素を選択したときに前記記憶手段に記憶されている奥行き値に基づいて当該画素に対する立体化処理を実行する。
より望ましい態様において、閾値を記憶する閾値記憶手段を具備し、前記決定手段は、前記選択手段が選択した画素の画素値が当該画素に対して所定の方向に隣接する画素の画素値よりも大きいか否かを判定する判定手段と、前記判定手段によって大と判定された画素が前記所定の方向に連続する個数を計数する計数手段と、前記計数手段による計数値と前記閾値記憶手段に記憶された閾値とを比較する比較手段とを有し、前記変更手段は、前記比較手段による比較の結果に基づいて前記奥行き値記憶手段の奥行き値を変更する。他の態様において、閾値を記憶する閾値記憶手段を具備し、前記決定手段は、前記選択手段が選択した画素の画素値が当該画素に対して所定の方向に隣接する画素の画素値よりも小さいか否かを判定する判定手段と、前記判定手段によって小と判定された画素が前記所定の方向に連続する個数を計数する計数手段と、前記計数手段による計数値と前記閾値記憶手段に記憶された閾値とを比較する比較手段とを有し、前記変更手段は、前記比較手段による比較の結果に基づいて前記奥行き値記憶手段の奥行き値を変更する。これらの態様において、前記変更手段は、例えば、前記計数手段による計数値が閾値を越えた場合に前記奥行き値記憶手段の奥行き値を変更する。これらの態様によれば、計数手段による計数値と閾値との比較の結果に基づいて奥行き値が変更されるから、例えば、計数手段による計数値が閾値を越えた場合に奥行き値を変更することにより、立体感の自然さを維持しながら奥行き値の変動の範囲を抑制することができる。
また、入力装置から入力された初期値を取得する取得手段を具備し、前記変更手段は、前記取得手段が取得した初期値を、前記所定の方向に配列する複数の画素のうち最初の画素が前記選択手段によって選択されるときの奥行き値とする構成によれば、各画素の奥行き値を原画像の全体として調整することができるから、入力装置からの入力に応じた多様な立体視画像が生成される。

本発明の他の態様において、原画像を構成する各画素の階調値を記憶する階調値記憶手段を具備し、立体化手段は、左目用画像の各行に属する各画素の階調値が、原画像のうち、その画素から行方向の一方に向かって当該画素の奥行き値に応じた画素数だけ離れた位置にある画素の階調値となるように左目用画像を生成し、右目用画像の各行に属する各画素の階調値が、原画像のうち、その画素から行方向の他方に向かって当該画素の奥行き値に応じた画素数だけ離れた位置にある画素の階調値となるように右目用画像を生成する生成手段と、生成手段が生成した左目用画像および右目用画像を合成することにより立体視画像を生成する合成手段とを具備する。原画像の画素を奥行き値に応じて移動させる構成においては画素の欠落が生じ易いという問題があるが、本態様によれば、左目用画像および右目用画像を構成する各画素として、原画像のなかから奥行き値に応じた位置にある画素が採択されるから、このような欠落の発生を防止することができる。
もっとも、左目用画像および右目用画像を生成するために原画像の各画素の階調値を使用する必要は必ずしもなく、例えば、原画像の各画素の画素値を使用することによって左目用画像および右目用画像を生成してもよい。すなわち、本発明の他の態様において、立体化手段は、左目用画像の各行に属する各画素の画素値が、原画像のうち、その画素から行方向の一方に向かって当該画素の奥行き値に応じた画素数だけ離れた位置にある画素の画素値となるように左目用画像を生成し、右目用画像の各行に属する各画素の画素値が、原画像のうち、その画素から行方向の他方に向かって当該画素の奥行き値に応じた画素数だけ離れた位置にある画素の画素値となるように右目用画像を生成する生成手段と、生成手段が生成した左目用画像および右目用画像を合成することにより立体視画像を生成する合成手段とを有する。

これらの態様において、生成手段は、左目用画像および右目用画像の生成処理を複数回にわたって実行する一方、初回以外の各回の生成処理においては、その直前の生成処理にて生成した左目用画像および右目用画像の各々を原画像として左目用画像および右目用画像を生成し、合成手段は、複数回の生成処理によって生成された左目用画像および右目用画像を合成することにより立体視画像を生成する。この態様によれば、左目用画像と右目用画像との生成が段階的に実行されるから、１回の立体化処理によって立体視画像を生成する場合と比較して、画素の欠落が少ない自然な立体視画像を生成することができる。

立体化手段の具体的な内容に着目した本発明の他の態様は、原画像を構成する各画素の階調値を記憶する階調値記憶手段と、原画像を構成する複数の画素の各々について奥行き値を算定する算定手段と、前記算定手段が算定した各画素の奥行き値に基づいて立体視画像を生成する立体化手段を具備し、前記立体化手段は、左目用画像の各行に属する各画素の階調値が、原画像のうち、その画素から行方向の一方に向かって当該画素の奥行き値に応じた画素数だけ離れた位置にある画素の階調値となるように左目用画像を生成し、右目用画像の各行に属する各画素の階調値が、原画像のうち、その画素から行方向の他方に向かって当該画素の奥行き値に応じた画素数だけ離れた位置にある画素の階調値となるように右目用画像を生成する生成手段と、生成手段が生成した左目用画像および右目用画像を合成することにより立体視画像を生成する合成手段とを具備する。この態様において、奥行き値を算定する方法は任意である。すなわち、互いに隣接する画素の画素値の大小に応じて各画素の奥行き値を決定する方法のほか、公知である種々の方法が採用される。

本発明に係る立体視画像生成装置は、画像処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェアによって実現されるほか、パーソナルコンピュータなどのコンピュータとプログラムとの協働によっても実現される。このプログラムは、原画像を構成する複数の画素の各々について画素値を記憶する画素値記憶手段を備えたコンピュータに、原画像を構成する各画素の画素値とその画素に対して行方向に隣接する画素の画素値との大小に基づいて当該画素の奥行き値を決定する決定処理と、決定処理にて決定した各画素の奥行き値に基づいて立体視画像を生成する立体化処理とを実行させる。このプログラムによっても、本発明の立体視画像生成装置について上述したのと同様の作用および効果が得られる。なお、本発明に係るプログラムは、ＣＤ−ＲＯＭなど可搬型の記録媒体に格納された形態にて利用者に提供されてコンピュータにインストールされるほか、ネットワークを介した配信の形態にてサーバ装置から提供されてコンピュータにインストールされる。

また、本発明は、画像を表示する表示装置や、記録媒体に記録された画像を再生する再生装置にも適用される。すなわち、この表示装置は、原画像を構成する複数の画素の各々について画素値を記憶する画素値記憶手段と、原画像を構成する各画素の画素値とその画素に隣接する画素の画素値との大小に基づいて各画素の奥行き値を決定する決定手段と、前記決定手段が決定した各画素の奥行き値に基づいて立体視画像を生成する立体化手段と、立体化手段によって生成された立体視画像を生成する表示手段とを具備する。一方、再生装置は、光ディスクなど各種の記録媒体から原画像を読み出す読出手段と、読出手段によって読み出された原画像を構成する各画素の画素値とその画素に隣接する画素の画素値との大小に基づいて各画素の奥行き値を決定する決定手段と、前記決定手段が決定した各画素の奥行き値に基づいて立体視画像を生成して出力する立体化手段とを具備する。

＜Ａ：第１実施形態＞
＜Ａ−１：立体視画像生成装置の構成＞
図１は、本発明の第１実施形態に係る立体視画像生成装置Ｄの構成を示すブロック図である。同図に示されるＣＰＵ１０は、この立体視画像生成装置Ｄの各部を中枢的に制御するための手段であり、プログラムに従って各種の演算や各部の制御を実行することによって種々の機能を実現する。ＲＯＭ２１は、ＣＰＵ１０によって実行されるプログラムを記憶するためのメモリであり、ＲＡＭ２３はＣＰＵ１０によって作業領域として使用されるメモリである。

記憶装置３０は、ＣＰＵ１０によって実行されるプログラムやこのプログラムの実行に際して使用される各種のデータを記憶する手段である。例えば、磁気ディスクを内蔵したハードディスク装置や、ＣＤ−ＲＯＭなどの記録媒体を収容するディスク装置などが記憶装置３０として採用される。この記憶装置３０には、立体視画像生成装置Ｄの全体動作を管理するためのＯＳ（Operating System）のほか、画像を処理するためのアプリケーションプログラム（以下「画像処理プログラム」という）が記憶されている。この画像処理プログラムは、素材となる原画像の内容を示す原画像データから立体視画像を表す立体視画像データを生成するための処理（以下「立体視画像生成処理」という）をＣＰＵ１０に実行させるためのプログラムである。立体視画像は、利用者の左目によって視認されるべき左目用画像と利用者の右目によって視認されるべき右目用画像とが合成された画像である。左目用画像と右目用画像とは視差を有する。

ＣＰＵ１０が画像処理プログラムを実行することによって生成された立体視画像は表示装置４０に表示される。この表示装置４０は、ＣＰＵ１０による制御のもとに各種の画像を表示する手段であり、例えばＣＲＴ（Cathode Ray Tube）や液晶表示パネルなどの表示機器を備えている。本実施形態における表示装置４０は、立体視画像のうち左目用画像を利用者の左目のみに視認させる一方、右目用画像を利用者の右目のみに視認させるように立体視画像を表示する。このような表示を実現するための方法としては、例えば利用者に偏光メガネを装着させる方法や、レンティキュラレンズまたはパララックスバリアなどの機構を利用して利用者の視野の一部を遮る方法など従来から提案されている各種の方法が採用される。もっとも、各々が異なる周波数帯域の光（例えば青色光および赤色光）を選択的に透過させる一対のレンズを備えた余色（補色）メガネなどを採用して立体視を実現する場合には、立体視のために専用される機構を表示装置４０に設ける必要はない。利用者は、左目用画像を左目によって視認するとともに右目用画像を右目によって視認することにより、原画像に含まれる各被写体について視差に応じた奥行きを知覚することができる。

次に、図２は、原画像の構成を示す図である。同図に示されるように、原画像IMG0は、行方向（Ｘ方向）および列方向（Ｙ方向）にわたってＨ行×Ｗ列のマトリクス状に配列された複数の画素Ｐixからなる（ＨおよびＷはともに自然数）。ひとつの画素Ｐixは、各々の表示色が相違する３個のサブ画素Ｐs（Ｐs-r、Ｐs-gおよびＰs-b）からなる。本実施形態における各画素Ｐixは、青色（Ｂ）のサブ画素Ｐs-bと緑色（Ｇ）のサブ画素Ｐs-gと赤色（Ｒ）のサブ画素Ｐs-rとを行方向（Ｘ方向）の負側から正側に向かってこの順番に配列した構成となっている。

このような原画像IMG0を示す原画像データは記憶装置３０に記憶されている。図３に示されるように、原画像データＤgは、各々がひとつの画素Ｐixの階調値を指定する複数（Ｈ×Ｗ）の画素データＤの集合である。なお、同図の各画素データＤに付された文字［ｉ，ｊ］は、その画素データＤが第ｉ（ｉは０≦ｉ≦（Ｈ−１）を満たす整数）行に属する第ｊ（ｊは０≦ｊ≦（Ｗ−１）を満たす整数）列の画素Ｐixの画素データＤであることを示している。図３に示されるように、ひとつの画素データＤは、各サブ画素Ｐsの表示色に対応する３つの単位データＵ（Ｕr、ＵgおよびＵb）を含んでいる。すなわち、単位データＵbは青色のサブ画素Ｐs-bの階調値を、単位データＵgは緑色のサブ画素Ｐs-gの階調値を、単位データＵrは赤色のサブ画素Ｐs-rの階調値をそれぞれ示すデータである。ひとつの単位データＵのデータ長は８ビットである（したがって画素データＤは２４ビット）。したがって、各単位データＵは「０」から「２５５」までの合計２５６階調の何れかを示す数値となる。もっとも、各単位データＵのデータ長やこの単位データＵが示す階調数は任意に変更される。例えば、青色の単位データＵbおよび赤色の単位データＵrの各々が５ビットであり、緑色の単位データＵgが６ビットであるような画素データＤ（１６ビット）を採用してもよい。

記憶装置３０に記憶された原画像データＤgは画像処理プログラムの実行に際してＲＡＭ２３に読み込まれる。図４は、ＲＡＭ２３に原画像データＤgが格納された様子（メモリマップ）を示す図である。同図に示されるように、原画像データＤgはＲＡＭ２３のうちアドレスＡＤ0を始点として連続した領域に格納される。さらに詳述すると、原画像データＤgを構成する各画素データＤは、原画像IMG0における画素Ｐixの配列の順番にＲＡＭ２３に記憶される。また、ひとつの画素データＤに含まれる各単位データＵは互いにアドレスが相違する領域に各サブ画素Ｐsの配列の順番に記憶される。例えば、第０行に属する第０列目の画素Ｐixのうち青色のサブ画素Ｐs-bに対応する単位データＵbはアドレス「ＡＤ0」に格納され、同画素Ｐixのうち緑色のサブ画素Ｐs-gに対応する単位データＵgはアドレス「ＡＤ0＋１」に格納され、同画素Ｐixのうち赤色のサブ画素Ｐs-rに対応する単位データＵrはアドレス「ＡＤ0＋２」に格納されるといった具合である。行数ｉと列数ｊとを用いて一般的に表記すると、第ｉ行に属する第ｊ列目の画素Ｐixのうち青色のサブ画素Ｐs-bの単位データＵbはアドレス「ＡＤ0＋（ｉ＊Ｗ＋ｊ）＊３」に格納され、同画素Ｐixのうち緑色のサブ画素Ｐs-gの単位データＵgはアドレス「ＡＤ0＋（ｉ＊Ｗ＋ｊ）＊３＋１」に格納され、同画素Ｐixのうち赤色のサブ画素Ｐs-rの単位データＵrはアドレス「ＡＤ0＋（ｉ＊Ｗ＋ｊ）＊３＋２」に格納されることになる。

図１に示される入力装置４５は、文字や記号を入力するための操作子を備えた機器であり、利用者による操作に応じた信号をＣＰＵ１０に出力する。利用者は、この入力装置４５を適宜に操作することにより、立体視画像生成処理に際して適用される各種の変数を変更することができる。

＜Ａ−２：立体視画像生成処理の概要＞
次に、ＣＰＵ１０が実行する立体視画像生成処理の概要を説明する。この立体視画像生成処理は、画素Ｐixごとに画素値Ｇを算定するための処理（以下「画素値算定処理」という）と、各画素Ｐixの画素値Ｇに基づいて画素Ｐixごとに奥行き値Ｚを決定する処理（以下「奥行き値決定処理」という）と、この奥行き値に応じた視差を有する立体視画像を生成する処理（以下「立体化処理」という）とに大別される。これらの処理は原画像IMG0を構成する画素Ｐixごとに実行される。さらに詳述すると、ＣＰＵ１０は、図２に破線で示されるように、原画像IMG0を構成する各行を第０行から第（Ｈ−１）行に向かって順番に選択するとともに、この選択した行に属する各列の画素Ｐixを第０列目から第（Ｗ−１）列目に向かって順番に選択する。そして、ＣＰＵ１０は、この選択した画素Ｐix（以下では特に「注目画素Ｐ」という）を対象として各処理を実行するのである。以下、これらの処理ごとに内容を説明する。

（１）画素値算定処理（図５）
この画素値算定処理は、各画素Ｐixの画素データＤに含まれる単位データＵから画素Ｐixごとに画素値Ｇを算定するための処理である。この処理を開始すると、ＣＰＵ１０は、注目画素Ｐに対応した各表示色の単位データＵが示す階調値を２値化した数値（以下「サブ画素値」という）Ｇsubを算定する。各サブ画素値Ｇsubには、表示色ごとに別個に選定された重み値によって重み付けが施されている。さらに詳述すると、図５に示されるように、ＣＰＵ１０は、注目画素Ｐのうち緑色のサブ画素Ｐs-gの単位データＵgが示す階調値をＲＡＭ２３に記憶された閾値ＴＨと比較し、この階調値が閾値ＴＨよりも大きい場合には「４」を、閾値ＴＨよりも小さい場合には「０」を、それぞれ緑色のサブ画素値Ｇsub-gとして選定する。また、ＣＰＵ１０は、赤色の単位データＵrの階調値が閾値ＴＨよりも大きい場合には「２」を、閾値ＴＨよりも小さい場合には「０」を、それぞれ赤色のサブ画素値Ｇsub-rとして選定する。同様に、青色の単位データＵbの階調値が閾値ＴＨよりも大きい場合には「１」が、閾値ＴＨよりも小さい場合には「０」が、それぞれ青色のサブ画素値Ｇsub-bとして選定される（図６参照）。次いで、ＣＰＵ１０は、図５に示されるように、各表示色のサブ画素値Ｇsub（Ｇsub-g、Ｇsub-rおよびＧsub-b）を加算して数値factorを算定し、この加算値factorにステップ値STEPを乗算することによって注目画素Ｐの画素値Ｇを算定する。このステップ値STEPは利用者が入力装置４５を操作することによって任意に更新される。ステップ値STEPを「８」と仮定した場合、図６に示されるように、以上の手順によって算定された画素値Ｇは、「０」、「８」、「１６」、「２４」、「３２」、「４０」、「４８」および「５６」のうち何れかの数値となる。また、閾値ＴＨについても入力装置４５への操作の内容に応じて適宜に変更される。

この画素値算定処理を別の観点から把握すれば以下の通りである。すなわち、ＣＰＵ１０は、各表示色の単位データＵの階調値と閾値ＴＨとの比較の結果に応じて「０」および「１」の何れかとなるサブ画素値Ｇsubを表示色ごとに算定する。例えば、青色の単位データＵbの階調値が閾値ＴＨよりも大きければ「１」を、閾値ＴＨよりも小さければ「０」を、青色のサブ画素値Ｇsub-bとして算定するといった具合である（図７参照）。そして、ＣＰＵ１０は、緑色のサブ画素値Ｇsub-gと赤色のサブ画素値Ｇsub-rと青色のサブ画素値Ｇsub-bとを最上位から最下位に向かってこの順番に配列したビット列（数値factorに相当する）を生成し、このビット列に対してステップ値STEPを乗算する。ここで生成されるビット列の数値は、最上位に位置する緑色のサブ画素値Ｇsub-gの重み値を「４（＝２^２）」とし、その下位に位置する赤色のサブ画素値Ｇsub-rの重み値を「２（＝２^１）」とし、最下位に位置する青色のサブ画素値Ｇsub-bの重み値を「１（＝２^０）」とした数値にほかならない。したがって、このビット列とステップ値STEPとの乗算値である画素値Ｇが採り得る数値は図５に示した方法で得られる画素値Ｇと全く同じになる。

ところで、本実施形態においては、緑色の重み値を最大とするとともに青色の重み値を最小としたが、これは以下の理由による。人間の網膜に存在する各色の錐体の平均的な割合は、緑錐体が約５９％と最も多く、次いで多いのが約３０％を占める赤錐体であり、青錐体は約１１％と最も少ない。このため、人間の視覚は、緑色に対する知覚が赤色や青色に対する知覚よりも敏感であるという特性を有する。そこで、本実施形態においては、これら各色の錐体の割合に合致するように、緑色の重み値を最大とするとともに青色の重み値を最小とし、赤色の重み値をその中間値とした。このような重み値に基づいて画素値Ｇを算定することにより、人間の視覚特性に合致した自然な立体感の立体視画像を生成することができる。

（２）奥行き値決定処理（図８）
この奥行き値決定処理は、観察者が知覚する奥行き感の大小を定める奥行き値Ｚを画素値Ｇに基づいて算定する処理である。上述したように、ＣＰＵ１０は、処理対象として選択した行（以下「選択行」という）に属する各画素Ｐixを第１列目から第（Ｗ−１）列目に向かって順番に注目画素Ｐとして選択する。一方、ＲＡＭ２３には変数Ｚxが記憶されている。ＣＰＵ１０は、処理の対象として選択した注目画素Ｐの奥行き値Ｚとして、ＲＡＭ２３に格納された変数Ｚxを割り当てる。この変数Ｚxは、選択行の各画素Ｐixを順番に選択していったときの画素値Ｇの変化に応じて初期値Ｚ0から順次に更新される。さらに詳述すると以下の通りである。

ＣＰＵ１０は、選択行に属する第ｊ列目の注目画素Ｐの画素値Ｇが同行の第（ｊ−１）列目の画素Ｐixの画素値Ｇに対して増加しているか減少しているかを判定する。そして、ＣＰＵ１０は、画素値Ｇの増加が検出された場合には、その増加（以下「画素値Ｇの立ち上がり」という）を示す「RAISE_UP」をＲＡＭ２３に格納された変数whichにセットし、画素値Ｇの減少が検出された場合には、その減少（以下「画素値Ｇの立ち下がり」という）を示す「FALL_DOWN」を変数whichにセットする。一方、画素値Ｇが変化していない場合、ＣＰＵ１０は、変数whichをその直前の内容に維持する（変数whichを変更しない）。すなわち、変数whichは、奥行き値決定処理に際して画素値Ｇが増加しているのか減少しているのかを示す変数である。

ここで、図８には、選択行に属する第０列目から第１８列目までの各画素Ｐixの画素値Ｇが示されている。同図に示されるように、各選択行に対する奥行き値決定処理が開始されるとき（すなわち第０列目の画素Ｐixが注目画素Ｐとして選択されたとき）の変数whichの初期値は「RAISE_UP」とされる。図８においては、各注目画素Ｐについて検出された画素値Ｇの立ち上がりが上向きの矢印「↑」によって示されるとともに画素値Ｇの立ち下がりが下向きの矢印「↓」によって示されている。また、画素値Ｇに変更がないことは符号「−」によって示されている。同図の例では、第７列目の画素Ｐixの画素値Ｇ「３２」がその直前の画素Ｐix（第６列目の画素Ｐix）の画素値Ｇ「４８」に対して減少している（立ち下がっている）。したがって、第７列目の画素Ｐixが注目画素Ｐとして選択された段階で変数whichはそれまでの「RAISE_UP」から「FALL_DOWN」に変更される。これに続く第８列目および第９列目の各画素Ｐixの画素値Ｇは、その前列の画素Ｐixの画素値Ｇから立ち下がっているから、これらの各画素Ｐixが注目画素Ｐとして選択された段階で変数whichは「FALL_DOWN」に維持される。一方、第１０列目の画素Ｐi xの画素値Ｇ「１６」は第９列目の画素Ｐixの画素値Ｇ「８」よりも増加しているから、第１０列目の画素Ｐixが注目画素Ｐとして選択された段階で、変数whichは「FALL_DOWN」から「RAISE_UP」に更新される。他の画素Ｐixについても同様である。

そして、ＣＰＵ１０は、変数whichが変化した場合（すなわち「RAISE_UP」から「FALL_DOWN」に変化した場合、および「FALL_DOWN」から「RAISE_UP」に変化した場合）に、変数Ｚxをステップ値PLXだけ増減させる。より具体的には、図８に示されるように、変数whichが「RAISE_UP」から「FALL_DOWN」に変更された場合には、変数Ｚxをステップ値PLXだけ減少させる一方、変数whichが「FALL_DOWN」から「RAISE_UP」に変更された場合には、変数Ｚxをステップ値PLXだけ増加させる。例えば、図８の例では、第７列目の画素Ｐixが選択された段階で変数whichが「RAISE_UP」から「FALL_DOWN」に変化しているから、ＣＰＵ１０は、この段階で変数Ｚxをステップ値PLXだけ減少させる。また、第１０列目の画素Ｐixが選択された段階で変数whichは「FALL_DOWN」から「RAISE_UP」に変化しているから、ＣＰＵ１０は、この段階で変数Ｚxをステップ値PLXだけ増加させる。このように、ステップ値PLXは変数Ｚx（したがって奥行き値Ｚ）の変化幅を指定する変数である。このステップ値PLXの数値は、入力装置４５に対する操作の内容に応じてＣＰＵ１０が適宜に選定する。

さらに、ＣＰＵ１０は、画素値Ｇの立ち上がりを連続して検出した回数（以下「連続増加回数」という）が閾値Ｎ（ここではＮ＝４とする）を越えた場合に、ＲＡＭ２３に格納された変数Ｚxをステップ値PLXだけ増加させる。例えば、図８において、第１列目から第４列目までの各画素Ｐixの画素値Ｇは、「１６」→「２４」→「３２」→「４０」という具合に合計４回にわたって連続して立ち上がっている。さらに、第５列目の画素Ｐixの画素値Ｇは「４８」であり、その左隣（第４列目）の画素Ｐixの画素値Ｇ「４０」から立ち上がっているから、この第５列目の画素Ｐixが注目画素Ｐとして選択された段階で連続増加回数は「５回」となり、閾値Ｎに設定された「４回」を越える。したがって、ＣＰＵ１０は、第５列目の画素Ｐixが注目画素Ｐとして選択された段階で、変数Ｚxを、その直前の数値（＝Ｚ0）よりもステップ値PLXだけ増加させた数値（＝Ｚ0＋PLX）に変更する。この変更後の変数Ｚxは第５列目の画素Ｐixの奥行き値Ｚとして指定される。一方、第１０列目から第１２列目の各画素Ｐixについては画素値Ｇの立ち上がりが連続して検出されているものの、その連続増加回数は「３回」であり、閾値Ｎに設定された「４回」を下回るから、ＣＰＵ１０は変数Ｚxを変更しない。

同様に、ＣＰＵ１０は、画素値Ｇの立ち下がりを連続して検出した回数（以下「連続減少回数」という）が閾値Ｎを越えた場合に、ＲＡＭ２３に格納された変数Ｚxをステップ値PLXだけ減少させる。例えば、図８において、第１３列目の画素Ｐixから第１７列目までの各画素Ｐixの画素値Ｇは、「３２」→「２４」→「１６」→「８」→「０」という具合に合計５回にわたって連続して立ち下がっているから、ＣＰＵ１０は、第１７列目の画素Ｐixが注目画素Ｐとして選択された段階（すなわち連続減少回数が「５回」に到達した段階）で、変数Ｚxを、その直前の数値（＝Ｚ0）からステップ値PLXを減算した数値（＝Ｚ0−PLX）に変更する。この変更後の変数Ｚxが第１７列目の画素Ｐixの奥行き値Ｚとして指定される。一方、第７列目から第９列目の各画素Ｐixについては画素値Ｇの立ち下がりが連続して検出されているものの連続減少回数は「３回」であるから、これらの各画素Ｐixが選択された段階で変数Ｚxは変更されない。このように、本実施形態においては、各画素Ｐixの奥行き値Ｚとして割り当てられる変数Ｚxを、各画素Ｐixの画素値Ｇの変化に応じて（特に変化が連続する回数に応じて）更新するようになっている。この奥行き値決定処理を全行について繰り返すことにより、各画素Ｐixについて奥行き値Ｚが決定される。なお、閾値Ｎの数値は、入力装置４５に対する操作の内容に応じてＣＰＵ１０が適宜に更新する。また、本実施形態においては、連続増加回数の閾値と連続減少回数の閾値とが共通の数値Ｎとされた構成を例示するが、これらを別個の数値としてもよい。

（３）立体化処理（図９）
この立体化処理は、各画素Ｐixの奥行き値Ｚに応じた視差を有する左目用画像と右目用画像とを生成し、この左目用画像と右目用画像とを合成することによって立体視画像を生成する処理である。この処理を開始すると、ＣＰＵ１０は、選択行たる第ｉ行目に属する注目画素Ｐの列数ｊからその注目画素Ｐの奥行き値Ｚを減算した数値ＬＦx（＝ｊ−Ｚ）を算定し、原画像IMG0のうち第ｉ行の第ＬＦx列目に属する画素Ｐixの画素データＤを、左目用画像のうち第ｉ行目に属する第ｊ列目の画素Ｐixの画素データＤlとして選定する。同様に、ＣＰＵ１０は、選択行たる第ｉ行目に属する注目画素Ｐの列数ｊにその注目画素Ｐの奥行き値Ｚを加算した数値ＲＴx（＝ｊ＋Ｚ）を算定し、原画像IMG0のうち第ｉ行の第ＲＴx列目に属する画素Ｐixの画素データＤを、右目用画像のうち第ｉ行目に属する第ｊ列目の画素Ｐixの画素データＤrとして選定する。

例えば、第ｉ行の第ｊ列目にある注目画素Ｐの奥行き値Ｚが「２」であるとすれば変数ＬＦxは「ｊ−２」となるから、図９に示されるように、原画像IMG0のうち第ｉ行目の第（ｊ−２）列目の画素Ｐixの画素データＤ［ｉ，ｊ−２］が、左目用画像のうち第ｉ行の第ｊ列に属する画素Ｐixの画素データＤl［ｉ，ｊ］として採択される。また、この場合の変数ＲＴxは「ｊ＋２」となるから、同図に示されるように、原画像IMG0のうち第（ｊ＋２）列目の画素Ｐixの画素データＤ［ｉ，ｊ＋２］が、右目用画像のうち第ｉ行の第ｊ列に属する画素Ｐixの画素データＤr［ｉ，ｊ］として採択される。以上の処理が選択行に属する総ての画素Ｐixについて実行され、さらには原画像IMG0の全行について同様の処理が繰り返されることによって、左目用画像の画像データ（以下「左目用画像データ」という）と右目用画像の画像データ（以下「右目用画像データ」という）とが生成され、図４と同様の態様にてＲＡＭ２３に格納される。

なお、各画素Ｐixの奥行き値Ｚに基づいて左目用画像と右目用画像とを作成するための方法はこれに限られない。例えば、原画像IMG0の各画素Ｐixを奥行き値Ｚに応じた画素数だけ行方向に移動させることによって左目用画像と右目用画像とを生成する方法も採用される。しかしながら、この方法においては、原画像IMG0のうち互いに隣接する画素Ｐixの奥行き値Ｚが大幅に相違する場合に、この奥行き値Ｚに基づいて移動させられた各画素Ｐixの間隙に画素Ｐixの欠落が生じる可能性がある。ぼかし処理など各種の画像処理によって画素Ｐixの欠落を修正することができるものの、この場合には画像処理の負荷が過大となる虞がある。これに対し、本実施形態においては、左目用画像および右目用画像を構成する各画素Ｐixについて原画像IMG0の何れかの画素Ｐixの画素データＤを割り当てる構成となっているから、画素Ｐixの欠落といった問題は抑制される。したがって、極めて少ない処理負荷により左目用画像と右目用画像とを生成することができるという利点がある。

さて、以上の手順によって左目用画像と右目用画像とを生成すると、ＣＰＵ１０は、これらの画像を合成することによって立体視画像を生成する。例えば、表示面のうち偶数行目の走査線と奇数行目の走査線とに偏光方向が相違する偏光板が貼付された表示装置４０と、右目部分と左目部分とに偏光方向が相違する偏光板が貼付された偏光メガネとを使用して立体視画像を視認する場合には、左目用画像のうち奇数行に属する各画素Ｐixと右目用画像のうち偶数行に属する各画素Ｐixとを合成することによって立体視画像が生成される。もっとも、立体視画像を視認するための機構は上述したように任意である。したがって、左目用画像と右目用画像とを合成するための方法は、立体視画像を視認するための機構に応じて適宜に選定される。

＜Ａ−３：立体視画像生成処理の具体的な内容＞
利用者によって入力装置４５が操作されて画像処理プログラムの起動が指示されると、ＣＰＵ１０は、画像処理プログラムを記憶装置３０からＲＡＭ２３に読み込んだうえでこれを順次に実行する。以下では、図１０から図１３を参照して、画像処理プログラムの具体的な内容を説明する。図１０から図１３のうちステップＳb1からステップＳb8までの処理が画素値算定処理に相当し、ステップＳc1からステップＳc14までの処理が奥行き値決定処理に相当し、ステップＳd1からステップＳd7までの処理が立体化処理に相当している。

図１０に示されるように、画像処理プログラムが起動されると、ＣＰＵ１０はまず、変数srcp、変数ｐLEFT、変数ｐRIGHTおよび変数Ｚ0を初期化する（ステップＳa1）。変数srcpは、原画像IMG0のうち注目画素Ｐの画素データＤが格納される領域の先頭のアドレス（すなわち注目画素Ｐのうち青色のサブ画素Ｐs-bの単位データＵbが格納されるアドレス）を示す変数である。本実施形態においては上述したように第０行の第０列目の画素Ｐixから順番に注目画素Ｐとして選択されるから、ステップＳa1において、ＣＰＵ１０は、変数srcpを、ＲＡＭ２３のうち原画像データＤgが格納される領域の先頭のアドレスＡＤ0（すなわち第０行に属する第０列目の画素Ｐixのうち青色のサブ画素Ｐs-bの単位データＵbが格納されるアドレス）に初期化する。一方、変数ｐLEFTは、左目用画像における注目画素Ｐの画素データＤlが格納される領域の先頭のアドレスを示す変数であり、変数ｐRIGHTは、右目用画像における注目画素Ｐの画素データＤrが格納される領域の先頭のアドレスを示す変数である。ステップＳa1において、ＣＰＵ１０は、左目用画像データが格納される領域の先頭のアドレスＡＤleftを変数ｐLEFTに代入するとともに、右目用画像データが格納される領域の先頭のアドレスＡＤrightを変数ｐRIGHTに代入する。また、変数Ｚ0は、奥行き値決定処理にて使用される奥行き値Ｚの初期値を示す変数である。ここではＣＰＵ１０が変数Ｚ0を数値「２」に初期化する場合が想定されている。この変数Ｚ0の初期値は、利用者による入力装置４５への操作に応じてＣＰＵ１０が適宜に変更する。

次いで、ＣＰＵ１０は、原画像IMG0の何れかの行を指定する変数ｉを「０」に初期化し（ステップＳb1）、この変数ｉが原画像IMG0の総行数Ｈを下回るか否かを判定する（ステップＳb2）。ここで変数ｉが総行数Ｈを下回ると判定した場合（すなわち、未だ全行の画素Ｐixについて処理が完了していない場合）、ＣＰＵ１０は、各行ごとに実行される処理に関わる各種の変数を初期化する（ステップＳb3）。このステップＳb3においては、連続減少回数を示す変数falldown_CNTと連続増加回数を示す変数raiseup_CNTとが「０」に初期化される。さらに、変数whichは、図８を参照して説明したように「RAISE_UP」に初期化される。また、各画素Ｐixに割り当てられる奥行き値Ｚを示す変数Ｚxには初期値Ｚ0がセットされる。さらに、変数linePには、「ＡＤ0＋i＊W＊3」が代入される。この「ＡＤ0＋i＊W＊3」は、原画像IMG0のうち選択行に属する第０列目の画素Ｐixの画素データＤが格納されているアドレスである（図４参照）。

続いて、ＣＰＵ１０は、原画像IMG0の列を指定する変数ｊを「０」に初期化し（ステップＳb4）、この変数ｊが原画像IMG0の総列数Ｗを下回るか否かを判定する（ステップＳb5）。ここで変数ｊが総列数Ｗ以上であると判定した場合（すなわち、選択行に属する総ての画素Ｐixについて処理が完了している場合）、ＣＰＵ１０は、変数ｉを「１」だけインクリメントしたうえで（ステップＳb6）ステップＳb2に処理を移行する。この変数ｉのインクリメントは、処理対象となる選択行を次の行に変更することを意味している。

一方、ステップＳb5において変数ｊが総列数Ｗを下回ると判定した場合（すなわち、選択行に属する総ての画素Ｐixについて処理が完了していない場合）、ＣＰＵ１０は、注目画素Ｐの各表示色の単位データＵから図５の手順によって算定された数値を変数factorに代入する（ステップＳb7）。すなわち、変数srcpが示すアドレスに格納された青色の単位データＵbと、アドレス「srcp＋1」に格納された緑色の単位データＵgと、アドレス「srcp＋２」に格納された赤色の単位データＵrとから変数factorを算定する。そして、ＣＰＵ１０は、この変数factorとステップ値STEPとの乗算値である画素値Ｇを変数grayに代入する（ステップＳb8）。以上の手順により注目画素Ｐの画素値Ｇが算定される。

続いて、図１１に示されるように、ＣＰＵ１０は、変数ｊが「０」であるか否か、すなわち注目画素Ｐが選択行の先頭列（第０列）に属する画素Ｐixであるか否かを判定する（ステップＳc1）。ここで、変数ｊが「０」であると判定した場合、ＣＰＵ１０は、変数grayに代入されている画素値Ｇを変数prevに代入する。この変数prevは、注目画素Ｐの左隣に位置する画素Ｐixの画素値Ｇを示す変数である。ただし、選択行の先頭列に属する画素Ｐixの左隣には画素Ｐixが存在しないため、この画素Ｐixが注目画素Ｐとして選択されている場合（すなわち変数ｊが「０」である場合）には、その注目画素Ｐの画素値Ｇが変数prevに代入されるようになっている（ステップＳc2）。

続いて、画素値Ｇの減少を検出するとともにその結果に応じて変数Ｚxを更新するための処理が実行される（ステップＳc3からステップＳc8）。すなわち、ＣＰＵ１０はまず、変数prevの数値が変数grayの数値よりも大きいか否かを判定する（ステップＳc3）。上述したように、変数grayには注目画素Ｐの画素値Ｇが代入され、変数prevにはその左隣の画素Ｐixの画素値Ｇが代入されているから、ステップＳc3においては、注目画素Ｐの画素値Ｇがその左隣の画素Ｐixの画素値Ｇと比較して減少しているか否かが判定されることになる。なお、選択行の先頭列に位置する画素Ｐixが注目画素Ｐである場合には、変数prevと変数grayとは等しいから、ステップＳc3における判定の結果は「Ｎｏ」となる。

ステップＳc3において変数prevが変数grayよりも大きいと判定した場合（すなわち、注目画素Ｐの画素値Ｇがその左隣の画素Ｐixの画素値Ｇよりも減少している場合）、ＣＰＵ１０は、変数whichに「RAISE_UP」がセットされているか否かを判定する（ステップＳc4）。ここで変数whichに「RAISE_UP」がセットされていると判定した場合（すなわち、今回の注目画素Ｐにて画素値Ｇが増加から減少に転じた場合）、ＣＰＵ１０は、変数Ｚxをステップ値PLXだけ減算する（ステップＳc5）。さらに、ＣＰＵ１０は、画素値Ｇが減少していることを示す「FALL_DOWN」を変数whichに代入するとともに、連続減少回数を示す変数falldown_CNTに「０」をセットする（ステップＳc5）。

これに対し、ステップＳc4において変数whichに「RAISE_UP」がセットされていないと判定した場合（すなわち前回以前の注目画素Ｐにおいて画素値Ｇの減少が検出されたために変数whichに「FALL_DOWN」がセットされている場合）、ＣＰＵ１０は、連続減少回数を示す変数falldown_CNTを「１」だけインクリメントしたうえで（ステップＳc6）、この変数falldown_CNTが閾値Ｎを上回るか否かを判定する（ステップＳc7）。ここで変数falldown_CNTが閾値Ｎを上回ると判定した場合（すなわち連続減少回数が（Ｎ＋１）回以上となった場合）、ＣＰＵ１０は、変数Ｚxをステップ値PLXだけ減算するとともに変数falldown_CNTを「０」にクリアする（ステップＳc8）。したがって、連続減少回数がＮ回をを越えることによっていったん変数Ｚxが減少すると、その時点から改めて計数される連続減少回数がＮ回を越えるまで変数Ｚxは減少しない。これに対し、変数falldown_CNTが閾値Ｎ以下であると判定した場合、ＣＰＵ１０は、ステップＳc8を実行しない。

一方、ステップＳc3における判定の結果が「Ｎｏ」である場合には、画素値Ｇの増加を検出するとともにその結果に応じて変数Ｚxを更新するための処理が実行される（ステップＳc9からステップＳc14）。すなわち、図１２に示されるように、ＣＰＵ１０はまず、変数prevが変数grayよりも小さいか否かを判定する（ステップＳc9）。このステップＳc9においては、注目画素Ｐの画素値Ｇがその左隣の画素Ｐixの画素値Ｇと比較して増加しているか否かが判定されることになる。なお、選択行の先頭列に位置する画素Ｐixが注目画素Ｐである場合、変数prevと変数grayとは等しいから、ステップＳc9における判定の結果は「Ｎｏ」となる。

ステップＳc9において変数prevが変数grayよりも小さいと判定した場合（すなわち、注目画素Ｐの画素値Ｇがその左隣の画素Ｐixの画素値Ｇよりも増加している場合）、ＣＰＵ１０は、変数whichに「FALL_DOWN」がセットされているか否かを判定する（ステップＳc10）。ここで変数whichに「FALL_DOWN」がセットされていると判定した場合（すなわち、今回の注目画素Ｐにて画素値Ｇが減少から増加に転じた場合）、ＣＰＵ１０は、変数Ｚxにステップ値PLXを加算するとともに、画素値Ｇが増加していることを示す「RAISE_UP」を変数whichに代入し、さらに連続増加回数を示す変数raiseup_CNTに「０」をセットする（ステップＳc11）。

一方、ステップＳc10において変数whichに「FALL_DOWN」がセットされていないと判定した場合（すなわち前回以前の注目画素Ｐにおいて画素値Ｇの増加が検出されたために変数whichに「RAISE_UP」がセットされている場合）、ＣＰＵ１０は、連続増加回数を示す変数raiseup_CNTを「１」だけインクリメントしたうえで（ステップＳc12）、この変数raiseup_CNTが閾値Ｎを上回るか否かを判定する（ステップＳc13）。ここで変数raiseup_CNTが閾値Ｎを上回ると判定した場合（すなわち連続増加回数が（Ｎ＋１）回以上となった場合）、ＣＰＵ１０は、変数Ｚxにステップ値PLXを加算するとともに変数raiseup_CNTを「０」にクリアする（ステップＳc14）。したがって、連続増加回数がＮ回を越えることによっていったん変数Ｚxが増加すると、その時点から改めて計数される連続増加回数がＮ回を越えるまで変数Ｚxは増加しない。一方、変数raiseup_CNTが閾値Ｎ以下であると判定した場合にはステップＳc14の処理が実行されない。

以上の各ステップを経て奥行き値決定処理が完了すると（ステップＳc3、ステップＳc7、ステップＳc9もしくはステップＳc13において「Ｎｏ」と判定された場合、または、ステップＳc5、ステップＳc8、ステップＳc11もしくはステップＳc14の処理が完了した場合）、続いて立体化処理が実行される（ステップＳd1からステップＳd7）。すなわち、ＣＰＵ１０はまず、変数ｊから現段階における変数Ｚxを減算した数値を変数ＬＦxに代入するとともに、変数ｊと変数Ｚxとを加算した数値を変数ＲＴxに代入する（ステップＳd1）。図９を参照して説明したように、この変数ＬＦxおよび変数ＲＴxは、原画像IMG0のうち左目用画像および右目用画像に採択される画素Ｐixを指定する変数である。すなわち、その時点において変数Ｚxに代入されている数値が注目画素Ｐの奥行き値Ｚとして選定されることになる。

次いで、ＣＰＵ１０は、左目用画像のうち第ｉ行に属する第ｊ列目の画素Ｐixの画素データＤlが格納されるアドレスに、原画像IMG0のうち変数ＬＦxによって指定される画素Ｐixの画素データＤが格納されるアドレスを代入する（ステップＳd2）。より具体的には、左目用画像の第ｉ行の第ｊ列にある画素Ｐixのうち青色のサブ画素Ｐs-bの単位データＵbが格納されるアドレス「ｐLEFT」には、原画像データＤgが格納された領域のアドレス「lineＰ＋ＬＦx＊３」が代入される。ここで、変数lineＰにはステップＳb2において「ＡＤ0＋i＊Ｗ＊3」が代入されているから、アドレス「ｐLEFT」に代入されるアドレスは「ＡＤ0＋i＊Ｗ＊3＋ＬＦx＊3」すなわち「ＡＤ0＋（i＊W＋ＬＦx）＊3」となる。図４に示されるように、このアドレス「ＡＤ0＋（i＊W＋ＬＦx）＊3」は、注目画素Ｐに対して行方向に変数ＬＦxの画素数だけ離れた画素Ｐixの画素データＤが格納されたアドレスである。したがって、左目用画像の第ｉ行の第ｊ列にある画素Ｐixのうち青色のサブ画素Ｐs-bの単位データＵbが格納されるアドレス「ｐLEFT」には、原画像IMG0のうち注目画素Ｐから行方向に変数ＬＦxだけ離れた位置にある画素Ｐixの青色の単位データＵbが格納されるアドレス「lineＰ＋ＬＦx＊３」が代入されることになる。一方、緑色に対応する単位データＵgは、青色に対応する単位データＵbのアドレスを「１」だけ増加させたアドレスに格納されているから、左目用画像の第ｉ行の第ｊ列にある画素Ｐixのうち緑色のサブ画素Ｐs-gの単位データＵgが格納されるアドレス「ｐLEFT＋1」には、原画像IMG0のうち注目画素Ｐから行方向に変数ＬＦxだけ離れた位置にある画素Ｐixの緑色の単位データＵgが格納されるアドレス「lineＰ＋ＬＦx＊３＋1」が代入されることになる。同様の理由により、赤色のサブ画素Ｐs-rの単位データＵrが格納されるアドレス「ｐLEFT＋2」にはアドレス「lineＰ＋ＬＦx＊3＋2」が代入される。以上の処理により、図９を参照して説明したように左目用画像の各画素Ｐixの画素データＤlが生成される。

右目用画像については、変数ＲＴxに基づいてステップＳd2と同様の処理が実行される（ステップＳd3）。すなわち、ＣＰＵ１０は、右目用画像の第ｉ行の第ｊ列目にある画素Ｐixのうち青色のサブ画素Ｐs-bの単位データＵbが格納されるアドレス「ｐRIGHT」に対し、原画像IMG0のうち注目画素Ｐから行方向に変数ＲＴxだけ離れた位置にある画素Ｐixの青色の単位データＵbが格納されるアドレス「lineＰ＋ＲＴx＊3」を代入する。同様に、右目用画像のうち緑色のサブ画素Ｐs-gに対応するアドレス「ｐRIGHT＋1」には原画像データＤgのアドレス「lineＰ＋ＲＴx＊3＋1」が代入され、赤色のサブ画素Ｐs-rに対応するアドレス「ｐRIGHT＋2」には原画像データＤgのアドレス「lineＰ＋ＲＴx＊3＋2」が代入される。この処理により、図９を参照して説明したように右目用画像の各画素Ｐixの画素データＤrが生成される。

次いで、ＣＰＵ１０は、ステップＳb8にて算定した変数grayの数値を変数prevに代入する（ステップＳd4）。この処理を実行するのは、次に選択される注目画素Ｐ（現に選択されている注目画素Ｐの右隣の画素Ｐix）の画素値Ｇを、ステップＳc3またはステップＳc9において今回の注目画素Ｐの画素値Ｇと比較するためである。さらに、ＣＰＵ１０は、ＲＡＭ２３に格納された各変数を更新する（ステップＳd5）。すなわち、ＣＰＵ１０はまず、変数srcpを「３」だけインクリメントする。これにより、変数srcpは、原画像IMG0のうち次に選択される注目画素Ｐの画素データＤのアドレスを示すことになる。同様に、ＣＰＵ１０は、変数ｐLEFTおよび変数ｐRIGHTを「３」だけインクリメントする。これにより、変数ｐLEFTおよび変数ｐRI GHTは、それぞれ左目用画像および右目用画像のうち次に選択される注目画素Ｐの画素データＤlおよび画素データＤrが格納される領域の先頭のアドレスを示すことになる。さらに、ＣＰＵ１０は、注目画素Ｐの列数を示す変数ｊを「１」だけインクリメントすることにより、今回の注目画素Ｐの右隣の画素Ｐixを次の注目画素Ｐとして選択する。このステップＳd5の処理を完了すると、ＣＰＵ１０は、処理を図１０のステップＳb5に移行させ、新たな注目画素Ｐについて同様の処理を繰り返す。さらに、ある選択行に属する総ての画素Ｐixについて処理を実行すると、ステップＳb5における判定の結果が「Ｎｏ」となり、変数ｉが「１」だけインクリメントされる（ステップＳb6）。したがって、処理の対象となる選択行は次の行に変更される。

さて、以上に説明した処理を全行の総ての画素Ｐixについて実行すると、ステップＳb2における判定の結果が「Ｎｏ」となる。この場合、ＣＰＵ１０は、ステップＳd2およびステップＳd3にて生成した左目用画像と右目用画像とを合成して立体視画像を生成し（ステップＳd6）、この立体視画像を表示装置４０に表示させる（ステップＳd7）。利用者は、この立体視画像のうち左目用画像を左目により視認するとともに右目用画像を右目により視認することにより、各画素Ｐixについて指定された奥行き値に応じた立体感を知覚することができる。

以上に説明したように、本実施形態においては、注目画素Ｐの画素値Ｇとこの注目画素Ｐに対して行方向に隣接する画素Ｐixの画素値Ｇとの大小に応じて注目画素Ｐの奥行き値Ｚが決定されるから、利用者に自然な立体感を知覚させ得る立体視画像を生成することができる。すなわち、まず、各画素Ｐixの画素値Ｇの増加または減少が閾値Ｎを越える回数にわたって連続した場合に奥行き値Ｚが変更されるようになっているから、閾値Ｎを越えない範囲で画素値Ｇが増加または減少したとしても、その領域における各画素Ｐixの奥行き値Ｚは共通の数値となる。さらに、各画素Ｐixの奥行き値Ｚが画素値Ｇの変化に応じてステップ値PLXだけ増減されるようになっている。このように、本実施形態においては、各画素Ｐixの奥行き値Ｚの数値の範囲が、各画素Ｐixの階調値から直接的に当該画素Ｐixの奥行き値を設定する従来の構成と比較して狭い範囲に抑制される。したがって、原画像IMG0の被写体のうち特定の部分のみが極端に飛び出して（あるいは引っ込んで）知覚されたり、画素クロスに起因した画像の歪みが発生したりする事態は有効に防止される。しかも、このような自然な立体視画像の取得に際して原画像IMG0ごとに多様なパラメータを利用者に入力させる必要はない。

ところで、奥行き値Ｚを示す変数Ｚxの初期値Ｚ0は立体視画像の全体的な立体感（奥行き感）を特徴づける数値である。例えば、この初期値Ｚ0が大きいほど原画像IMG0の奥行き値Ｚが全体として大きくなるために立体視画像の被写体は奥側（あるいは手前側）に知覚され、初期値Ｚ0が小さいほど原画像IMG0の奥行き値Ｚが全体として小さくなるために立体視画像の被写体は手前側（あるいは奥側）に知覚されるといった具合である。本実施形態においては、この初期値Ｚ0を利用者が任意に選択できるようになっているから、利用者の好みに応じた多様な立体視画像を生成することができるという利点がある。

＜Ｂ：第２実施形態＞
次に、本発明の第２実施形態に係る立体視画像生成装置Ｄの構成を説明する。第１実施形態においては、各画素Ｐixの奥行き値Ｚから１回の立体化処理によって立体視画像が生成される構成を例示した。これに対し、本実施形態においては、立体化処理が複数回にわたって段階的に実行されるようになっている。なお、本実施形態に係る立体視画像生成装置Ｄのうち第１実施形態と同様の要素については共通の符号を付してその説明を適宜に省略する。

図１４は、本実施形態に係る立体視画像生成装置Ｄの動作の概要を示す図である。同図に示されるように、本実施形態は、ひとつの原画像IMG0から立体視画像生成処理（第１段階）によって左目用画像IMG1および右目用画像IMG2が生成される段階までは第１実施形態と共通するが、これに加え、左目用画像IMG1および右目用画像IMG2の各々を新たな原画像としてさらに立体視画像生成処理が実行されるようになっている。すなわち、図１４に示されるように、ＣＰＵ１０は、原画像IMG0から左目用画像として生成された第１画像IMG1を新たな原画像として第２段階目の立体視画像生成処理を実行することにより左目用画像IMGL1および右目用画像IMGR1を生成するとともに、原画像IMG0から右目用画像として生成された第２画像IMG2を新たな原画像として第２段階目の立体視画像生成処理を実行することにより左目用画像IMGL2および右目用画像IMGR2を生成する。そして、第１画像IMG1から生成された左目用画像IMGL1と、第２画像IMG2から生成された右目用画像IMGR2とを合成することにより最終的な立体視画像が生成される。一方、第１画像IMG1から生成された右目用画像IMGR1と第２画像IMG2から生成された左目用画像IMGL2とは破棄される。ただし、左目用画像IMGL1および右目用画像IMGR2に加えて右目用画像IMGR1および左目用画像IMGL2も使用して立体視画像（例えば４視点からの立体視が可能な立体視画像）を合成する構成としてもよい。

図１４に示される動作を詳述すれば以下の通りである。ＣＰＵ１０はまず、図１０から図１３に示される立体視画像生成処理によって左目用画像たる第１画像IMG1と右目用画像たる第２画像IMG2とを第１実施形態と同様の手順にて生成する。次いで、第１画像IMG1を原画像とした第２段階目の立体視画像生成処理が実行される。すなわち、ＣＰＵ１０は、第１画像IMG1の画像データが格納された領域の先頭のアドレス（ＡＤleft）を図１０のステップＳa1にて変数srcpに代入したうえで第２段階目の立体視画像生成処理を実行することによって左目用画像IMGL1と右目用画像IMGR1とを生成する。同様に、ＣＰＵ１０は、第２画像IMG2の画像データが格納された領域の先頭のアドレス（ＡＤright）を図１０のステップＳa1にて変数srcpに代入したうえで第２段階目の立体視画像生成処理を実行することによって左目用画像IMGL2と右目用画像IMGR2とを生成する。そして、ＣＰＵ１０は、第１画像IMG1から生成された左目用画像IMGL1と第２画像IMG2から生成された右目用画像IMGR2とを合成することによって立体視画像を生成したうえで（ステップＳd6）、この立体視画像を表示装置４０に表示させる（ステップＳd7）。

ここで、第１実施形態のように１回の立体視画像生成処理によって左目用画像と右目用画像とを生成する場合に、変数Ｚxの変化幅であるステップ値PLXを余りに大きく設定すると、原画像IMG0のうち左目用画像および右目用画像に採択される各画素Ｐixの位置が大幅に相違するため、画素クロスなどに起因した画素Ｐixの欠陥が発生する場合がある。この欠陥はステップ値PLXを小さい数値に設定することによって解決し得るが、この場合には各画素Ｐixの奥行き値Ｚの変動が極めて狭い範囲に抑制されるから、利用者によって知覚される立体感が乏しい立体視画像しか生成できないという問題が生じ得る。これに対し、本実施形態においては、画素Ｐixの欠陥を防止するためにステップ値PLXを抑制した場合であっても、立体視画像生成処理が２回にわたって実行されるから、充分な立体感をもった立体視画像を生成することができるという利点がある。

なお、ここでは２回の立体視画像生成処理が実行される場合を例示したが、この回数は任意に変更され得る。例えば、立体視画像生成処理を３回にわたって実行する場合には、図１４に示される左目用画像IMGL1を原画像としてさらに左目用画像と右目用画像とが生成されるとともに、右目用画像IMGR2を原画像として左目用画像と右目用画像とが生成され、ここで左目用画像IMGL1から生成された左目用画像と右目用画像IMGR2から生成された右目用画像とが合成されることによって最終的な立体視画像が生成されることになる。

＜Ｃ：変形例＞
各実施形態に対しては種々の変形が加えられる。具体的な変形の態様を例示すれば以下の通りである。以下の各態様を適宜に組み合わせてもよい。

（１）各実施形態においては、各画素Ｐixの単位データＵを２値化したうえで加算することによって画素値Ｇを算定したが、本発明において画素値Ｇを算定する方法やその算定の基礎となる要素はこれに限られない。例えば、単位データＵが示す各サブ画素の内容（ＲＧＢ要素）、各画素の輝度、各画素の彩度、および各画素の明度といった種々の要素のなかから任意に選択された一部または全部の要素から画素値Ｇが算定される構成としてもよい。このように、本発明における「画素値」は各画素による表示の内容に応じた数値であればよい。

また、各実施形態においては各画素Ｐixの単位データＵから画素値Ｇを算定する構成を例示したが、画素値Ｇを算定する構成は必ずしも必要ではない。例えば、原画像IMG0の各画素Ｐixについて予め画素値Ｇが記憶されている構成とすれば、立体視画像生成処理における画素値Ｇの算定は不要となる。さらに、各実施形態においては複数色からなるカラー画像を例示して説明したが、白色および黒色のみからなるモノクロ画像が対象とされる場合には、各画素Ｐixの階調値をそのまま画素値Ｇとして採用してもよい。このように、本発明においては、画素値Ｇを算定する処理の有無は不問であり、画素値Ｇが立体視画像生成処理のたびに算定されるにせよ画素値Ｇが予め用意されているにせよ、画素ごとに画素値Ｇを記憶する手段を備えた構成であれば足りる。

なお、各実施形態においては、画素の階調値を指定する画素データとは別個に画素値Ｇを算定する構成を例示したため、立体化処理においては左目用画像および右目用画像の作成に際して原画像の画素データを利用したが、モノクロ画像を表示する場合のように画素の階調値がそのまま画素値Ｇとして採用される場合には、各画素の画素値Ｇそのものが左目用画像および右目用画像の作成に際して利用されることになる。

（２）各実施形態においては、変数whichが変化した場合、および、連続増加回数または連続減少回数が閾値Ｎを越えた場合に変数Ｚxを増減させる構成を例示したが、このうち一方の場合のみに変数Ｚxを増減させる構成としてもよい。例えば、変数whichの変化に拘わらず、連続増加回数または連続減少回数が閾値Ｎを越えた場合に限って変数Ｚxを増減させるといった具合である。もっとも、本発明において変数Ｚxを増減させるための条件はこれに限られない。要するに、互いに隣接する各画素の画素値Ｇの大小に応じて各画素の奥行き値Ｚが決定される構成であれば足りる。

（３）各実施形態においては、原画像データＤgが予め記憶装置３０に記憶された構成を例示したが、本発明において原画像を取得する方法およびその取得先は任意である。例えば、ビデオテープやＤＶＤ（Digital Versatile Disk）といった記録媒体から原画像データＤgを取得して立体視画像生成処理に供する構成としてもよいし、ネットワークを介して接続された他の通信端末から原画像データＤgを受信して立体視画像生成処理に供する構成としてもよい。また、原画像は静止画像に限られず、複数の画像が時系列的に配列された動画像であってもよい。この動画像の形式は任意であるが、例えば、ＭＰＥＧ（Moving Picture Experts Group）などの動画圧縮技術によって圧縮されたデータを伸長したものが採用される。なお、動画像を処理の対象とする場合には、これを構成する画像ごとに図１０ないし図１３の処理が実行される。

（４）図２に示したように、各実施形態においては、ひとつの画素Ｐixを構成する各サブ画素Ｐsが行方向の負側から正側に向かって「青色（Ｂ）」→「緑色（Ｇ）」→「赤色（Ｒ）」の順番に配列された構成を例示したが、各サブ画素Ｐsの配列がこれに限定されないことはもちろんである。例えば、ひとつの画素Ｐixにおける各サブ画素Ｐsが「赤色（Ｒ）」→「緑色（Ｇ）」→「青色（Ｂ）」の順番に配列された構成においても、各実施形態の構成および動作が同様に適用される。

（５）各実施形態においては、注目画素Ｐの画素値Ｇとその注目画素Ｐに対して行方向に隣接する画素Ｐixの画素値Ｇとの大小に応じて注目画素Ｐの奥行き値Ｚを算定する構成を例示したが、奥行き値Ｚの算定のために参照される画素Ｐixと注目画素Ｐとの位置関係はこれに限られない。例えば、注目画素Ｐに対して列方向（Ｙ方向）に隣接する画素Ｐixの画素値Ｇと注目画素Ｐixとの画素値Ｇとの大小に応じて注目画素Ｐixの奥行き値Ｚを算定する構成としてもよい。この構成における処理内容は第１実施形態と同様である。ただし、第１実施形態においてはひとつの行ごとに各画素Ｐixの画素値Ｇが算定される構成を例示したが、本変形例の構成においては、注目画素Ｐが属する行に加えてその次に選択される行（あるいはその直前に選択された行）についても各画素Ｐixの画素値Ｇを算定して記憶しておく必要がある。

（６）本発明に係る立体視画像生成装置は、各実施形態に示したようにＣＰＵが画像処理プログラムを実行することによって実現されるほか、画像処理に専用されるＤＳＰなどのハードウェアによっても実現される。

本発明の第１実施形態に係る立体視画像生成装置の構成を示すブロック図である。 原画像の構成を示す図である。 原画像データのデータ構造を示す図である。 原画像データがＲＡＭに読み込まれた様子を示す図である。 画素値算定処理の内容を説明するための図である。 各表示色のサブ画素値と画素値との対応を示す表である。 各表示色のサブ画素値からなるビット列と画素値との対応を示す表である。 奥行き値決定処理の内容を説明するための図である。 立体化処理の内容を説明するための図である。 立体視画像生成処理の具体的な内容を示すフローチャートである。 立体視画像生成処理の具体的な内容を示すフローチャートである。 立体視画像生成処理の具体的な内容を示すフローチャートである。 立体視画像生成処理の具体的な内容を示すフローチャートである。 本発明の第２実施形態に係る立体視画像生成装置の動作を説明するための図である。

符号の説明

Ｄ……立体視画像生成装置、１０……ＣＰＵ、２１……ＲＡＭ、２３……ＲＡＭ、３０……記憶装置、４０……表示装置、４５……入力装置、IMG0……原画像、Ｐix……画素、Ｐs……サブ画素、Ｄg……原画像データ、Ｄ……画素データ、Ｕ（Ｕr，Ｕg，Ｕb）……単位データ、Ｇ……画素値、Ｇsub……サブ画素値。

Claims (13)

1. 右目用画像と左目用画像とが合成された立体視画像を原画像から生成する装置であって、
   原画像を構成する複数の画素の各々について画素値を記憶する画素値記憶手段と、
   原画像を構成する各画素の画素値とその画素に隣接する画素の画素値との大小に基づいて各画素の奥行き値を決定する決定手段と、
   前記決定手段が決定した各画素の奥行き値に基づいて立体視画像を生成する立体化手段と
   を具備する立体視画像生成装置。
2. 原画像を構成する各画素は各々の表示色が相違する複数のサブ画素を含み、
   各サブ画素の階調値を画素ごとに記憶するサブ画素記憶手段と、
   前記サブ画素記憶手段に記憶された各サブ画素の階調値に基づいて画素ごとの画素値を算定する算定手段とを具備し、
   前記画素値記憶手段は、前記算定手段によって算定された画素値を画素ごとに記憶する
   請求項１に記載の立体視画像生成装置。
3. 前記算定手段は、ひとつの画素に属する各サブ画素の階調値を２値化し、２値化された各階調値を表示色ごとに重み付けしたうえで加算し、この加算値に基づいて当該画素の画素値を算定する
   請求項２に記載の立体視画像生成装置。
4. 各画素は赤色のサブ画素と緑色のサブ画素と青色のサブ画素とを含み、
   前記算定手段は、各画素について、緑色のサブ画素について２値化された階調値と第１の重み値との乗算値と、赤色のサブ画素について２値化された階調値と前記第１の重み値よりも小さい第２の重み値との乗算値と、青色のサブ画素について２値化された階調値と前記第２の重み値よりも小さい第３の重み値との乗算値とを加算し、この加算値に基づいて当該画素の画素値を算定する
   請求項３に記載の立体視画像生成装置。
5. 奥行き値を記憶する奥行き値記憶手段を具備し、
   前記決定手段は、
   原画像を構成する複数の画素の各々をその配列に沿って順番に選択する選択手段と、
   前記選択手段が選択した画素の画素値と当該画素に隣接する画素の画素値との大小に応じて、前記奥行き値記憶手段に記憶された奥行き値を変更する変更手段と
   を有し、
   前記立体化手段は、前記選択手段が画素を選択したときに前記記憶手段に記憶されている奥行き値に基づいて当該画素に対する立体化処理を実行する
   請求項１に記載の立体視画像生成装置。
6. 閾値を記憶する閾値記憶手段を具備し、
   前記決定手段は、
   前記選択手段が選択した画素の画素値が当該画素に対して所定の方向に隣接する画素の画素値よりも大きいか否かを判定する判定手段と、
   前記判定手段によって大と判定された画素が前記所定の方向に連続する個数を計数する計数手段と、
   前記計数手段による計数値と前記閾値記憶手段に記憶された閾値とを比較する比較手段と
   を有し、
   前記変更手段は、前記比較手段による比較の結果に基づいて前記奥行き値記憶手段の奥行き値を変更する
   請求項５に記載の立体視画像生成装置。
7. 閾値を記憶する閾値記憶手段を具備し、
   前記決定手段は、
   前記選択手段が選択した画素の画素値が当該画素に対して所定の方向に隣接する画素の画素値よりも小さいか否かを判定する判定手段と、
   前記判定手段によって小と判定された画素が前記所定の方向に連続する個数を計数する計数手段と、
   前記計数手段による計数値と前記閾値記憶手段に記憶された閾値とを比較する比較手段と
   を有し、
   前記変更手段は、前記比較手段による比較の結果に基づいて前記奥行き値記憶手段の奥行き値を変更する
   請求項５に記載の立体視画像生成装置。
8. 前記変更手段は、前記計数手段による計数値が閾値を越えた場合に前記奥行き値記憶手段の奥行き値を変更する
   請求項６または請求項７に記載の立体視画像生成装置。
9. 入力装置から入力された初期値を取得する取得手段を具備し、
   前記変更手段は、前記取得手段が取得した初期値を、前記所定の方向に配列する複数の画素のうち最初の画素が前記選択手段によって選択されるときの奥行き値とする
   請求項５から請求項８の何れかに記載の立体視画像生成装置。
10. 原画像を構成する各画素の階調値を記憶する階調値記憶手段を具備し、
    前記立体化手段は、
    左目用画像の各行に属する各画素の階調値が、原画像のうち、その画素から行方向の一方に向かって当該画素の奥行き値に応じた画素数だけ離れた位置にある画素の階調値となるように左目用画像を生成し、右目用画像の各行に属する各画素の階調値が、原画像のうち、その画素から行方向の他方に向かって当該画素の奥行き値に応じた画素数だけ離れた位置にある画素の階調値となるように右目用画像を生成する生成手段と、
    前記生成手段が生成した左目用画像および右目用画像を合成することにより立体視画像を生成する合成手段と
    を有する請求項１に記載の立体視画像生成装置。
11. 立体化手段は、
    左目用画像の各行に属する各画素の画素値が、原画像のうち、その画素から行方向の一方に向かって当該画素の奥行き値に応じた画素数だけ離れた位置にある画素の画素値となるように左目用画像を生成し、右目用画像の各行に属する各画素の画素値が、原画像のうち、その画素から行方向の他方に向かって当該画素の奥行き値に応じた画素数だけ離れた位置にある画素の画素値となるように右目用画像を生成する生成手段と、
    前記生成手段が生成した左目用画像および右目用画像を合成することにより立体視画像を生成する合成手段と
    を有する請求項１に記載の立体視画像生成装置。
12. 前記生成手段は、左目用画像および右目用画像の生成処理を複数回にわたって実行する一方、初回以外の各回の生成処理においては、その直前の生成処理にて生成した左目用画像および右目用画像の各々を原画像として左目用画像および右目用画像を生成し、
    前記合成手段は、複数回の生成処理によって生成された左目用画像および右目用画像を合成することにより立体視画像を生成する
    請求項１０または請求項１１に記載の立体視画像生成装置。
13. 原画像を構成する複数の画素の各々について画素値を記憶する画素値記憶手段を備えたコンピュータに、
    原画像を構成する各画素の画素値とその画素に隣接する画素の画素値との大小に基づいて当該画素の奥行き値を決定する決定処理と、
    前記決定処理にて決定した各画素の奥行き値に基づいて立体視画像を生成する立体化処理と
    を実行させるためのプログラム。

Images