JP2004248213A - 画像処理装置、撮像装置およびプログラム - Google Patents
画像処理装置、撮像装置およびプログラム Download PDFInfo
- Publication number
- JP2004248213A JP2004248213A JP2003038665A JP2003038665A JP2004248213A JP 2004248213 A JP2004248213 A JP 2004248213A JP 2003038665 A JP2003038665 A JP 2003038665A JP 2003038665 A JP2003038665 A JP 2003038665A JP 2004248213 A JP2004248213 A JP 2004248213A
- Authority
- JP
- Japan
- Prior art keywords
- image
- dimensional
- processing
- original image
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【課題】画像の立体化に関わる各種の条件を指示する利用者の負担を軽減する。
【解決手段】ＣＰＵ１０は、画像を表す原画像データから相互に視差のある右目用画像と左目用画像とを生成する立体化処理を行なう。また、ＣＰＵ１０は、立体化処理に際して用いられるべき立体化パラメータを利用者からの指示に応じて特定するとともに、ここで特定した立体化パラメータを原画像データと対応付けて記憶装置１３に記憶させる。
【選択図】 図１
【解決手段】ＣＰＵ１０は、画像を表す原画像データから相互に視差のある右目用画像と左目用画像とを生成する立体化処理を行なう。また、ＣＰＵ１０は、立体化処理に際して用いられるべき立体化パラメータを利用者からの指示に応じて特定するとともに、ここで特定した立体化パラメータを原画像データと対応付けて記憶装置１３に記憶させる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、利用者に立体として知覚される画像を平面画像から生成するための技術に関する。
【０００２】
【従来の技術】
相互に視差を有する２つの画像の一方を左目に視認させて他方を右目に視認させると、利用者にその画像を立体として知覚させることができる。このような視差を有する画像（以下「立体視画像」という）を平面画像から生成するための技術が従来から提案されている（特許文献１参照）。この技術においては、画像を視認した利用者に知覚されるべき奥行きなど各種のパラメータに基づいて立体視画像が生成される。
【０００３】
【特許文献１】
特開２００２−１２３８４２号公報（段落００３３および第７図参照）
【０００４】
【発明が解決しようとする課題】
この技術のもとで、立体視画像を生成するときの各種のパラメータを利用者が任意に選定し得る構成とすれば、その所望の立体感を有する画像を生成することができて便利である。しかしながら、この構成を採用した場合には、平面画像の立体化処理のたびにパラメータを指示する必要が生じ、利用者に煩雑な作業を強いるという問題が生じ得る。特に連続的な複数の画像からなる動画像を立体化処理の対象とした場合には、各画像に関する条件を指示する作業は極めて煩雑となる。
【０００５】
本発明は、以上説明した事情に鑑みてなされたものであり、画像の立体化処理に用いられる各種のパラメータの入力に要する利用者の負担を軽減することができる画像処理装置、撮像装置およびプログラムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の特徴は、画像を表す原画像データから相互に視差のある右目用画像と左目用画像とを生成する立体化処理を実行する立体化処理手段と、前記立体化処理に際して用いられる立体化パラメータを外部からの指示に応じて特定するパラメータ特定手段と、前記パラメータ特定手段によって特定された立体化パラメータを前記原画像データと対応付けて記憶装置に記憶させる制御手段とを具備することにある。
【０００７】
この構成によれば、利用者からの指示に応じて特定された立体化パラメータが原画像データとともに記憶装置に記憶されるようになっている。このため、利用者の指示に応じて立体化パラメータがいちど特定されれば、その後に原画像データから立体視画像を生成するときには再び立体化パラメータが特定される必要はない。したがって、立体化処理に関わる各種のパラメータを指示する利用者の負担を軽減することができる。
【０００８】
また、本発明の第２の特徴は、画像を表す原画像データから相互に視差のある右目用画像と左目用画像とを生成する立体化処理を実行する立体化処理手段と、被写体を撮像する撮像装置から、撮像された画像を表す原画像データとその画像が撮像されたときの撮像条件とを取得する取得手段と、前記取得手段によって取得された撮像条件に基づいて、前記立体化処理に際して適用されるべき立体化パラメータを特定するパラメータ特定手段と、前記パラメータ特定手段によって特定された立体化パラメータを前記取得手段によって取得された原画像データと対応付けて記憶装置に記憶させる制御手段とを具備することにある。
【０００９】
この構成によれば、撮像装置から取得した撮像条件に基づいて、立体化処理に際して適用されるべき立体化パラメータが特定される。このため、その立体化パラメータについて利用者は指示する必要がない。したがって、立体化処理に関わる各種のパラメータを指示する利用者の負担を軽減することができる。しかも、この構成においては、撮像条件を撮像時における環境（例えば周囲の明るさ）を反映したものとすれば、この撮像条件に基づいて特定された立体化パラメータを用いることによって、実際の被写体により忠実な立体視画像が得られる。
【００１０】
上記第１または第２の特徴を有する画像処理装置においては、立体化パラメータが原画像データの先頭または後尾に付加されるようにしてもよいし、立体化パラメータを原画像とは別個に記憶させる一方、原画像データを特定するための情報と立体化パラメータを特定するための情報とが対応付けられたテーブルを記憶装置に記憶させるようにしてもよい。
【００１１】
また、上記第１または第２の特徴を有する画像処理装置においては、前記立体化処理手段が、各画素ごとに前記原画像データから奥行き値を求める算出手段と、前記算出手段によって求められた奥行き値を修正する修正手段と、前記修正手段によって求められた奥行き値に応じた視差を有する前記右目用画像と前記左目用画像とを生成する画像生成手段とを備え、前記パラメータ特定手段が、前記修正手段による奥行き値の修正内容に関する立体化パラメータを特定する構成としてもよい。この構成によれば、利用者による指示の負担を低減しつつ、各画素の奥行き値を修正することができる。
【００１２】
さらに、各画素の奥行き値を修正する修正手段を具備する画像処理装置においては、以下の構成を採用することもできる。すなわち、まず、修正手段が、すべての画素に共通の数値である奥行深度を当該各画素の奥行き値に対して加算する手段を備える構成のもとでは、前記パラメータ特定手段によって特定される立体化パラメータが前記奥行深度を含むものとしてもよい。この構成によれば、立体視画像を視認した利用者によって知覚される画像全体の奥行きが立体化パラメータに応じて修正される。また、修正手段が、各画素の奥行き値を、当該画素を含む領域における奥行き値の平均値に更新する手段を備える構成のもとでは、前記パラメータ特定手段によって特定される立体化パラメータが、前記領域の大きさを表す数値を含むものとしてもよい。この構成によれば、近接し合う画素の奥行き値の差異を抑えて立体視画像の画質を維持することができる。
【００１３】
また、修正手段が、各画素の奥行き値を複数の離散値に近似させる手段を備える構成のもとでは、前記パラメータ特定手段によって特定される立体化パラメータが、前記各離散値の間隔を表す丸め係数を特定するための数値を含むものとしてもよい。こうすれば、奥行き値の段階数を離散値の段階数に応じて変化させることができるから、立体視画像における奥行きの範囲が適宜に選定されるとともに、立体視画像における視差を特定の範囲に限定することができる。この構成のもとでは、丸め係数を特定するための数値として、前記複数の離散値の段階数であるオブジェクト深度を用いてもよい。
【００１４】
さらに、修正手段が、各画素の奥行き値を特定の範囲内の数値に修正する手段を備える構成のもとでは、前記パラメータ特定手段によって特定される立体化パラメータが、前記特定の範囲の上限値および下限値の少なくとも一方を含むものとしてもよい。この構成によれば、各画素の奥行き値が特定の範囲に限定されるから、立体視画像における視差を利用者によって視認可能な範囲に限定することができる。
【００１５】
また、本発明に係る画像処理装置において、動画像を構成する複数の画像の各々について原画像データが記憶装置に記憶される構成を採用する場合には、立体化処理手段が、記憶装置に記憶された原画像データの各々について、当該原画像データに対応付けられた立体化パラメータを用いた立体化処理をリアルタイムに（すなわち、原画像データが表す画像を表示装置に表示すべきタイミングが到来するたびに）実行する構成としてもよい。
【００１６】
なお、上記第１または第２の特徴を有する画像処理装置としてコンピュータを機能させるためのプログラムとしても本発明は特定され得る。このプログラムは、ネットワークを介してコンピュータに提供されるものであってもよいし、光ディスクに代表される各種の記録媒体に格納された形態で提供されてコンピュータにインストールされるものであってもよい。
【００１７】
また、上記第１または第２の特徴を有する画像処理装置において処理に供されるデータとしても本発明は特定され得る。すなわち、上述した第１の特徴については、画像を表す原画像データから相互に視差のある右目用画像と左目用画像とを生成する立体化処理を行なう画像処理装置において処理に供されるデータであって、前記立体化処理に際して用いられるパラメータとして利用者による指示に応じて特定された立体化パラメータと、その立体化パラメータを用いて立体化処理に供されるべき原画像データとが対応付けられたデータ構造を有することを特徴とする。一方、第２の特徴については、画像を表す原画像データから相互に視差のある右目用画像と左目用画像とを生成する立体化処理を行なう画像処理装置において処理に供されるデータであって、被写体を撮像する撮像装置から取得した原画像データと、その画像が撮像されたときの撮像条件であって前記撮像装置から取得した撮像条件に基づいて特定された立体化パラメータとが対応付けられたデータ構造を有することを特徴とする。
【００１８】
一方、本発明に係る撮像装置は、上記第２の特徴を有する画像処理装置に対して立体化処理に供されるべき原画像データを提供することを特徴としている。すなわち、この撮像装置は、特定の撮像条件のもとで被写体を撮像する撮像手段と、前記撮像手段によって撮像された画像を表す原画像データと、その画像が撮像されたときの撮像条件であって当該画像を対象とした前記立体化処理に際して適用されるべき立体化パラメータを特定するための撮像条件とを対応付けて記憶装置に記憶させる制御手段とを具備することを特徴とする。
【００１９】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。
【００２０】
＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る画像処理装置の構成を示すブロック図である。同図に示すように、この装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０と、このＣＰＵ１０にバス１５を介して接続されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２および記憶装置１３とを有する。バス１５には、表示装置４０および入力装置３０が接続されている。このように、画像処理装置１００は、パーソナルコンピュータに代表される一般的なコンピュータと同様の構成を有する。
【００２１】
ＣＰＵ１０は、この画像処理装置１００の各部を中枢的に制御するための装置であり、プログラムに従って演算処理や各部の制御を行なうことによって種々の機能を実現する。ＲＯＭ１１はＣＰＵ１０によって実行されるプログラムを記憶するためのメモリであり、ＲＡＭ１２はＣＰＵ１０によって作業領域として使用されるメモリである。
【００２２】
記憶装置１３は、ＣＰＵ１０によって実行される各種のプログラムやこのプログラムの実行に伴なって使用される各種のデータを記憶する装置である。例えば、磁気ディスクを内蔵したハードディスク装置や、ＣＤ−ＲＯＭに代表される可搬型の記録媒体を収容するディスク装置などが記憶装置１３として採用され得る。この記憶装置１３には、画像処理装置１００の全体動作を管理するためのＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）のほか、画像に関する処理を行なうためのアプリケーションプログラム（以下「画像処理プログラム」という）１３１が記憶されている。この画像処理プログラム１３１は、原画像たる平面画像を表すデータ（以下「原画像データ」という）から立体視画像を表すデータ（以下「立体視画像データ」という）を生成する機能を提供する。この立体視画像は、利用者の右目によって視認されるべき画像（以下「右目用画像」という）と左目によって視認されるべき画像（以下「左目用画像」という）とが合成された画像である。左目用画像と右目用画像とは視差を有する。すなわち、これらの画像は、原画像の被写体を構成する画素を当該被写体の奥行きに応じた量（以下「画素移動量」という）だけ水平方向に移動させた画像である。利用者は、右目によって右目用画像を視認するとともに左目によって左目用画像を視認することにより、原画像に含まれる各被写体についてその画素移動量に応じた奥行きを知覚することとなる。
【００２３】
この画像処理プログラム１３１による処理の対象となる画像は、例えばビデオテープレコーダ２０から取得される。ビデオテープレコーダ２０は、動画像を表すアナログ信号を利用者による操作に応じて出力する。このアナログ信号は、Ａ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換器２１によってデジタルデータに変換されたうえで画像処理装置１００に入力される。ＣＰＵ１０は、このデジタルデータをひとつの画像ごとにキャプチャしたうえで原画像データとして記憶装置１３に記憶させる。本実施形態においては、原画像データが、原画像を構成する各画素の表示色をＲＧＢ形式にて表すデータである場合を想定する。すなわち、原画像データのうちひとつの画素に対応するデータは、その画素の表示色のうち赤色成分の数値Ｒと緑色成分の数値Ｇと青色成分の数値Ｂとを含んでいる。
【００２４】
入力装置３０は、マウスなどのポインティングデバイスと、文字や記号を入力するためのキーボードとを備え、利用者による操作に応じた信号をＣＰＵ１０に出力する。利用者は、この入力装置３０を適宜に操作することによって、原画像データから立体視画像データを生成するときに適用されるべき各種のパラメータ（以下「立体化パラメータ」という）を入力することができる。
【００２５】
表示装置４０は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）や液晶表示パネルなどを備え、ＣＰＵ１０による制御のもとに各種の画像を表示する。さらに、本実施形態における表示装置４０は、立体視画像のうち右目用画像を利用者の右目のみに視認させる一方、左目用画像を利用者の左目のみに視認させるように、立体視画像データに応じた画像の表示を行なうことができるようになっている。このような立体視画像を利用者に知覚させるための構成としては従来から種々の構成が提案されているが、本実施形態においては偏光フィルタを用いた構成を想定する。
【００２６】
すなわち、図２（ａ）に示すように、表示装置４０の表示面４０１には、その面の上から数えて奇数番目の走査線４０２に対応する領域と偶数番目の走査線４０２に対応する領域とで偏光方向が異なる偏光フィルタ４０３が貼り付けられている。図２（ａ）に示す例では、表示面４０１のうち奇数番目の走査線４０２と重なる領域には図面右上から左下に向かう方向の偏光軸を有する偏光フィルタ４０３が貼り付けられ、偶数番目の走査線４０２と重なる領域には図面左上から右下に向かう方向の偏光軸を有する偏光フィルタ４０３が貼り付けられている。一方、立体視画像を視認しようとする利用者は、眼鏡に類似した形状を有する器具（以下「立体視眼鏡」という）５０を頭部に装着する。この立体視眼鏡５０は、偏光軸が偶数番目の偏光フィルタ４０３と同一方向に設定された偏光フィルタが貼り付けられて利用者の右目を覆う右目用レンズ５０１と、偏光軸が奇数番目の偏光フィルタと同一方向に設定された偏光フィルタ４０３が貼り付けられて利用者の左目を覆う左目用レンズ５０２とを有する。この構成のもとで、例えば、偶数番目の走査線４０２によって右目用画像を表示させるとともに、奇数番目の走査線４０２によって左目用画像を表示させることによって、右目用画像は利用者の右目のみによって視認され、左目用画像は左目のみによって視認されるのである。
【００２７】
また、表示装置４０には、利用者が原画像を編集するための画像（以下「画像編集ウィンドウ」という）が表示される。図３に示すように、この画像編集ウィンドウ８０は、縮小表示領域８１と画像表示領域８２と効果設定領域８３とを含んでいる。このうち縮小表示領域８１は、動画像を構成する複数の原画像が縮小されたうえで水平方向に配列される領域である。利用者は、入力装置３０のマウスを用いてスクロールバー８１１を適宜に操作することによって、動画像のうち縮小表示領域８１に表示されるべき原画像を任意に変更することができる。また、画像表示領域８２は、原画像から得られた立体視画像が表示される領域である。
【００２８】
一方、効果設定領域８３は、立体化処理に関わる各種の立体化パラメータを利用者が入力するための領域である。この効果設定領域８３において入力される立体化パラメータの種類は図３に示す通りであるが、ここでは効果設定領域８３の具体的な説明に先立って、画像処理プログラム１３１の実行に伴なう立体化処理の具体的な内容を説明し、この説明に沿って、効果設定領域８３において入力される各種の立体化パラメータの意味に言及する。なお、ここでは説明の便宜のために、ひとつの画像が立体化処理の対象とされた場合を想定する。
【００２９】
＜立体化処理の内容＞
図４は、立体化処理の具体的な内容を示すフローチャートである。同図に示すように、立体化処理を開始すると、ＣＰＵ１０はまず、処理対象となる原画像データに基づいて各画素ごとに奥行き値（Ｚ値）を算出する（ステップＳ６１）。この奥行き値は、画素移動量を決定するための基礎となる数値である。本実施形態においては、原画像をグレースケールとして表現したときの階調を奥行き値として用いる。具体的には、以下の式（１）に示すように、ひとつの画素の表示色のうち赤色成分Ｒ、緑色成分Ｇおよび青色成分Ｂの各々に対して所定の係数を乗じたうえで総和することによって得られる数値を奥行き値として用いる。
（奥行き値）＝Ｒ×α＋Ｇ×β＋Ｂ×γ （１）
この式（１）において係数α、βおよびγの値は適宜に選定し得る。具体的には、係数αを「０．３」、係数βを「０．５９」、係数γを「０．１１」程度に設定することが望ましい。なお、本実施形態においては、奥行き値が８ビットで表される場合を想定する。したがって、奥行き値は「０」から「２５５」までの２５６通りの数値をとり得る。
【００３０】
続いて、ＣＰＵ１０は、立体視画像をより自然な立体感が得られる画像とするために、ステップＳ６１にて得られた奥行き値を修正するための処理を行なう（ステップＳ６２からＳ６７）。図５は、この修正処理に伴なう奥行き値の変化の様子を模式的に表す図である。同図においては、ひとつの走査線４０２に属する画素の位置が横軸に示され、各画素の奥行き値が縦軸に示されている。上記ステップＳ６１にて得られた奥行き値は図５（ａ）に示す通りである。以下、この図を参照しながら、ステップＳ６２からＳ６７の具体的な処理の内容を説明する。
【００３１】
まず、ＣＰＵ１０は、立体視画像を生成するときの画素移動量の大小と奥行き値の大小との関係を反転させるべきか否かを判定する（ステップＳ６２）。いま、ステップＳ６１にて得られた奥行き値に比例するように画素移動量を決定するものと仮定すれば、奥行き値が大きい被写体（すなわち明るい被写体）ほど利用者からみて手前に近づき、奥行き値が小さい被写体（すなわち暗い被写体）ほど利用者からみて奥に遠ざかることとなる。ここで、実際の原画像において暗い被写体が奥に位置し、明るい被写体が手前に位置する場合にはこの方法で自然な立体視が実現される。しかしながら、原画像のなかには、明るい背景（例えば青空）の中央に暗い被写体が存在するといった具合に、奥行き値が大きい被写体ほど利用者からみて奥に位置し、奥行き値が小さい被写体ほど利用者からみて手前に位置するものも想定し得る。このような画像について奥行き値に比例するように画素移動量を決定するものとすれば、利用者が知覚する立体視画像は被写体の遠近が逆転した不自然なものとなる。そこで、ステップＳ６２において、原画像の奥行き値の変化の傾向に基づいて、画素移動量の大小と奥行き値の大小との関係を反転させるべきか否かを判定するのである。
【００３２】
具体的には、ＣＰＵ１０は、原画像に含まれるすべての画素の奥行き値の平均値を算出する一方、この原画像を区分した複数の領域（以下「サンプリング領域」という）の各々について、当該領域に属する画素の奥行き値の平均値を算出する。本実施形態においては、図６に示すように、原画像Ｇを９つのサンプリング領域Ａｓに区分した場合を想定する。これらのサンプリング領域Ａｓの各々には、画像中の被写体の遠近に関する一般的な傾向に応じて決定された値（以下「重み値」という）が予め設定されている。この一般的な傾向とは、画像のうち上部の方が下部よりも遠景（例えば空）である場合が多く、画像のうち中央に近い部分の方がその周辺の部分よりも遠景である場合が多いというものである。具体的には、図６に示すように、原画像Ｇのうち上方寄りのサンプリング領域Ａｓには下方寄りのサンプリング領域Ａｓよりも大きい重み値が設定されており、原画像Ｇのうち中央寄りのサンプリング領域Ａｓには周辺寄りのサンプリング領域Ａｓよりも大きい重み値が設定されている。ＣＰＵ１０は、９つのサンプリング領域Ａｓのうち奥行き値の平均値が原画像Ｇ全体の平均値よりも大きいサンプリング領域Ａｓを特定し、特定した１以上のサンプリング領域Ａｓの重み値を合計する。そして、求められた合計値が予め定められたしきい値以上である場合、すなわち原画像Ｇの上部が下部よりも明るく、または中央部が周辺部よりも明るい傾向にある場合には、ＣＰＵ１０は、画素移動量の大小と奥行き値の大小との関係を反転させると判定する。これに対し、求められた合計値が予め定められたしきい値未満である場合、すなわち原画像Ｇの上部が下部よりも暗く、または中央部が周辺部よりも暗い傾向にある場合には、ＣＰＵ１０は、画素移動量の大小と奥行き値の大小との関係を反転させないと判定する。
【００３３】
この反転判定処理に続いて、ＣＰＵ１０は、ステップＳ６１にて算出した奥行き値を平均化するための処理を行なう（ステップＳ６３）。この処理を行なうのは、原画像のうち近接する画素において奥行き値の差異が著しく大きいと立体視画像における画素の乱れが発生するからである。
【００３４】
具体的には、図７に示すように、ＣＰＵ１０は、原画像Ｇに含まれる各画素Ｐごとに、その画素Ｐを含む特定の領域（以下「マトリクス領域」という）Ａｍにおける奥行き値の平均値を算出し、この求めた平均値を当該画素Ｐの奥行き値として更新する。すなわち、各画素Ｐの奥行き値が、当該画素Ｐを左上隅に含むマトリクス領域Ａｍにおける奥行き値の平均値に変更されることとなる。この処理の結果、図５（ｂ）に示すように、原画像において近接する画素の奥行き値の変化は、ステップＳ６１にて算出された奥行き値よりも滑らかなものとなる。この処理において用いられるマトリクス領域Ａｍの大きさ（以下「マトリクス寸法」という）Ｓｍは、図３に示した効果設定領域８３において立体化パラメータのひとつとして利用者に指示される。このマトリクス寸法Ｓｍが大きいほど平均値を算出する対象となる画素数が多くなるから、各画素同士の奥行き値の相違、ひいては利用者によって知覚される立体感は小さくなる。一方、マトリクス寸法Ｓｍが小さいほど平均値を算出する対象となる画素数は少なくなるから、各画素同士の奥行き値の相違、つまり利用者によって知覚される立体感は大きくなる。
【００３５】
ところで、立体視画像における画素移動量の最小の単位はひとつの画素である。すなわち、ひとつの画素よりも小さい量を画素移動量として設定することはできない。したがって、奥行き値が「１」だけ増加するごとに画素移動量をその最小単位である画素ひとつ分だけ増加させるとしても、奥行き値が最大値たる「２５５」である場合には画素移動量が画素２５６個分に相当する大きさとなる。しかしながら、画素移動量があまりに大きくなると（例えば８ｍｍ以上になると）立体視画像を視認する利用者に目の疲労が生じやすくなり、さらには利用者が立体として知覚しにくくなるといった問題が生じ得る。このため、ＣＰＵ１０は、ステップＳ６３にて得られた各画素の奥行き値をいくつかの段階の離散値に近似するための処理を行なう（ステップＳ６４）。
【００３６】
具体的には、ＣＰＵ１０は、各画素ごとに、ステップＳ６３にて得られた奥行き値を特定の数値（以下「丸め係数」という）ＭＫで除し、この除算結果を整数化した数値に対して同じ丸め係数ＭＫを乗算する。この結果、図５（ｃ）に示すように、各画素の奥行き値は丸め係数ＭＫの整数倍に相当する数値に近似されるのである。つまり、丸め係数ＭＫは、奥行き値が近似されるべき各離散値の間隔の大きさを表す数値であるということができる。本実施形態においては、この丸め係数ＭＫとして、奥行き値の取り得る値の最大値（２５５）をオブジェクト深度で除した値を整数化した数値が用いられる。このオブジェクト深度Ｏｂは、近似により得られた奥行き値がとり得る値の段階数を表す。また、上述したように画素移動量の段階数は奥行き値の段階数に比例するから、オブジェクト深度Ｏｂは、利用者が立体視画像を視認したときに最も奥と知覚する位置と最も手前と知覚する位置との隔たりの大きさを表す数値ということもできる。このオブジェクト深度は、図３に示した効果設定領域８３において立体化パラメータのひとつとして利用者に指示された数値に設定される。もっとも、丸め係数ＭＫそのものが立体化パラメータのひとつとして利用者に指示される構成としてもよい。
【００３７】
この量子化処理に続いて、ＣＰＵ１０は、各画素の奥行き値を特定の範囲内の数値に限定するための処理を行なう（ステップＳ６５）。この範囲の上限値Ｄｕおよび下限値Ｄｌは、図３に示した効果設定領域８３において立体化パラメータのひとつとして利用者に指示される。さらに、本実施形態においては、奥行き値の限定の方法として、「丸め」、「折返」および「横滑」という３つの方法が用意されており、このうちのいずれかが画像編集ウィンドウ８０において立体化パラメータとして利用者に指示されるようになっている（図３参照）。以下、この３つの方法の具体的な内容を説明する。
【００３８】
まず、利用者によって「丸め」が指示されている場合、ＣＰＵ１０は、図８（ａ）に示すように、各画素ごとに、奥行き値が下限値Ｄｌよりも小さいときには当該画素の奥行き値をその下限値Ｄｌに変更する一方、奥行き値が上限値Ｄｕよりも大きいときには当該画素の奥行き値をその上限値Ｄｕに変更する。また、利用者によって「折返」が指示されている場合、ＣＰＵ１０は、図８（ｂ）に示すように、各画素の奥行き値を上限値Ｄｕまたは下限値Ｄｌを基準として折り返した数値に変更する。すなわち、ＣＰＵ１０は、下限値Ｄｌよりも小さい奥行き値を、下限値Ｄｌを基準として反転させたときの数値に変更する。同様に、ＣＰＵ１０は、上限値Ｄｕよりも大きい奥行き値を、上限値Ｄｕを基準として反転させたときの数値に変更する。一方、利用者によって「横滑」が指示されている場合、ＣＰＵ１０は、図８（ｃ）に示すように、各画素の奥行き値を上限値Ｄｕまたは下限値Ｄｌを基準として平行移動した数値に変更する。すなわち、ＣＰＵ１０は、下限値Ｄｌよりも小さい奥行き値を、下限値Ｄｌと奥行き値のとり得る最小値（０）との差に相当する量だけ増加させた数値に変更する。同様に、ＣＰＵ１０は、上限値Ｄｕよりも大きい奥行き値を、奥行き値のとり得る最大値（２５５）と上限値Ｄｕとの差に相当する量だけ減少させた数値に変更する。この処理により、図５（ｄ）に示すように、すべての画素の奥行き値が下限値Ｄｌから上限値Ｄｕまでの範囲内の数値に限定されることとなる。
【００３９】
次いで、ＣＰＵ１０は、ステップＳ６２における判定結果に応じて適宜に反転処理を実行する（ステップＳ６６）。すなわち、ステップＳ６２において反転させることを判定した場合、ＣＰＵ１０は、画素移動量の大小と奥行き値の大小との関係が反転するように、各画素の奥行き値を修正する。具体的には、ＣＰＵ１０は、各画素ごとに、奥行き値の最大値である「２５５」からステップＳ６５にて得られた奥行き値を減じた値を、当該画素の新たな奥行き値とする。これにより、奥行き値が大きいほど画素移動量が小さく、奥行き値が小さいほど画素移動量が大きくなる。一方、ステップＳ６２において反転させないと判定している場合、ＣＰＵ１０は、各画素の奥行き値をステップＳ６５にて得られた数値に維持する。
【００４０】
続いて、ＣＰＵ１０は、ステップＳ６６の結果として得られたすべての画素の奥行き値に対して共通の数値（以下「奥行深度」という）Ｄｃを加算する（ステップＳ６７）。この奥行深度Ｄｃは、原画像の全体に共通して反映させるべき奥行きを表す数値である。すなわち、利用者が最も奥として知覚する位置と最も手前として知覚する位置との間の範囲がオブジェクト深度Ｏｂによって特定される一方、この範囲全体の奥行きが奥行深度Ｄｃによって特定されるということができる。この奥行深度Ｄｃは、図３に示した効果設定領域８３において立体化パラメータのひとつとして利用者に指示される。この奥行深度Ｄｃとしては、正数のみならず「０」や負数を選択することもできる。
【００４１】
以上が奥行き値の修正に関わる処理である。これらの処理が完了すると、ＣＰＵ１０は、得られた奥行き値に基づいて立体視画像を生成する（ステップＳ６８）。すなわち、原画像に含まれる各画素を、当該画素の奥行き値に応じた量だけ水平方向に移動させて右目用画像および左目用画像を生成し、これらの画像を合成することによって立体視画像を生成するのである。
【００４２】
再び図３において、画像編集ウィンドウ８０の効果設定領域８３のうち部分８３１は、編集の対象となる原画像の範囲、すなわち利用者によって指示された立体化パラメータが適用されるべき原画像の範囲を指定するための領域である。本実施形態においては、利用者は、入力装置３０のマウスを用いてこの領域のチェックボックスを適宜にクリックすることにより、立体化パラメータが適用される対象として、動画像を構成する多数の原画像のうちいずれかひとつの原画像（図３に示す「個別」）、その動画像のひとつのシーンに含まれる含まれる原画像（図３に示す「シーン」）、および動画像のすべての原画像（図３に示す「全編」）のうちいずれかを選択することができる。
【００４３】
また、効果設定領域８３は、原画像の立体化処理において用いられるべき立体化パラメータを利用者が入力するための複数の部分を含んでいる。すなわち、効果設定領域８３のうち部分８３２は奥行深度Ｄｃを入力するための領域であり、部分８３３はオブジェクト深度Ｏｂを入力するための領域である。部分８３２および部分８３３は、各立体化パラメータの数値を段階的に変更するためのコマンドボタン８３ａと、このコマンドボタン８３ａによって決定された数値を表示するとともに利用者が各立体化パラメータの数値を入力装置３０のキーボードから直接に入力するための入力欄８３ｂとを有する。一方、図３に示す部分８３４はステップＳ６５にて用いられる上限値Ｄｕおよび下限値Ｄｌを入力するための領域である。この部分８３４には、上限値Ｄｕおよび下限値Ｄｌを数値として入力するための領域のほか、上述したステップＳ６５において奥行き値の範囲を限定する方法を選択するためのチェックボックスが含まれている。さらに、部分８３５は、ステップＳ６３にて用いられるマトリクス寸法Ｓｍを、そのマトリクス領域の横の長さに相当する画素数と縦の長さに相当する画素数として入力するための領域である。
【００４４】
一方、効果設定領域８３の初期値ボタン８３７は、各立体化パラメータの値を予め記憶装置１３に記憶された初期値に変更することを指示するためのコマンドボタンである。また、効果設定領域８３のうち実行ボタン８３８は、この効果設定領域８３にて指示された立体化パラメータを実際の立体化処理に反映させることを指示するためのコマンドボタンである。さらに、記録ボタン８３９は、この効果設定領域８３にて指示された立体化パラメータを記憶装置１３に記憶させることを指示するためのコマンドボタンである。
【００４５】
次に、本実施形態の動作を説明する。利用者によって入力装置３０に所定の操作がなされて画像処理プログラム１３１の起動指示が与えられると、ＣＰＵ１０は、記憶装置１３に記憶された画像処理プログラム１３１をＲＡＭ１２に読み込んだうえでこれを順次に実行する。図９は、画像処理プログラム１３１が実行されたときの処理の流れを示すフローチャートである。前掲図４を参照して説明した立体化処理は、図９に示したステップＳａ６において実行される。
【００４６】
画像処理プログラム１３１が起動されると、ＣＰＵ１０はまず、図３に示した画像編集ウィンドウ８０を表示装置４０に表示させる（ステップＳａ１）。この後、利用者は、入力装置３０を用いて画像編集ウィンドウ８０のファイルボタン８０１を操作することによって、記憶装置１３に記憶された動画像を選択する。この操作を検知すると、ＣＰＵ１０は、選択された動画像のファイルを記憶装置１３からＲＡＭ１２に読み込んだうえで、これに含まれる複数の原画像を縮小表示領域８１に表示させる。
【００４７】
一方、利用者は、入力装置３０を適宜に操作することによって、立体化処理の対象とすべき１以上の原画像を選択する。具体的には、利用者はまず、入力装置３０のマウスによって、部分８３１に表示されたいずれかのチェックボックスをクリックする。そして、部分８３１のうち「個別」を選択した場合、利用者は、縮小表示領域８１に表示された複数の原画像のいずれかをクリックすることによって、当該原画像を立体化処理の対象として選択することができる。また、部分８３１のうち「シーン」を選択した場合、利用者は、縮小表示領域８１に表示された複数の原画像のいずれかをクリックすることによって、当該原画像を含むシーンを構成する複数の原画像を立体化処理の対象として選択することができる。一方、部分８３１のうち「全編」を選択した場合、利用者は、動画像に含まれるすべての原画像を立体化処理の対象として一括して選択することができる。ＣＰＵ１０は、利用者によるこの操作を検知することにより、立体化処理の対象とすべき１以上の原画像を特定する（ステップＳａ２）。
【００４８】
続いてＣＰＵ１０は、効果設定領域８３に含まれるいずれかの立体化パラメータを指示する操作が利用者によって実行されたか否かを判定する（ステップＳａ３）。この操作を検知すると、ＣＰＵ１０は、入力された立体化パラメータを表示装置４０の効果設定領域８３の各部に表示させる（ステップＳａ４）。また、ステップＳａ３において、図３に示した初期値ボタン８３７が操作されたと判定すると、ＣＰＵ１０は、記憶装置１３に予め記憶された各立体化パラメータの初期値を読み出し、これらの数値を効果設定領域８３の各部に表示させる（ステップＳａ４）。一方、立体化パラメータの指示がなされていない場合、ＣＰＵ１０は、ステップＳａ４を経ることなくステップＳａ５に処理を移行させる。
【００４９】
次いで、ＣＰＵ１０は、効果設定領域８３に含まれる実行ボタン８３８が利用者によって操作されたか否かを判定する（ステップＳａ５）。ここで実行ボタン８３８が操作されたと判定すると、ＣＰＵ１０は、その時点において効果設定領域８３に表示されている立体化パラメータを用いて、図４に示した立体化処理を実行する（ステップＳａ６）。そして、ＣＰＵ１０は、この立体化処理によって得られた立体視画像を画像表示領域８２に表示させる（ステップＳａ７）。利用者は、立体視眼鏡５０を用いて表示装置４０の表示面４０１を視認することにより、自分の指示した立体化パラメータが反映された立体視画像を確認することができる。一方、ステップＳａ５において実行ボタン８３８が操作されていないと判定した場合、ＣＰＵ１０は、ステップＳａ６およびＳａ７を経ることなくステップＳａ８に処理を移行する。
【００５０】
続いて、ＣＰＵ１０は、効果設定領域８３に含まれる記録ボタン８３９が利用者によって操作されたか否かを判定する（ステップＳａ８）。ここで操作がなされていないと判定した場合、ＣＰＵ１０は、ステップＳａ９を経ることなく処理をステップＳａ２に戻す。
【００５１】
これに対し、利用者によって記録ボタン８３９が操作されたと判定した場合、ＣＰＵ１０は、現時点において処理対象として選択されている原画像データと、その時点で効果設定領域８３に指示されている立体化パラメータとを対応付けて記憶装置１３に記憶する（ステップＳａ９）。すなわち、ＣＰＵ１０は、第１に、記憶装置１３に記憶された多数の原画像データのうちステップＳａ２において特定された原画像データを探索し、第２に、図１０に示すように、探索した１以上の原画像データの先頭部分に、その時点における立体化パラメータをヘッダとして付加するのである。なお、ここでは立体化パラメータをヘッダとして付加する場合を想定したが、原画像データの後尾にフッタとして付加する構成としてもよい。この後にＣＰＵ１０は、ステップＳａ２に処理を移行させる。
【００５２】
以上が画像を編集するときの動作である。一方、利用者によって入力装置３０に所定の操作がなされ、既に立体化パラメータが設定された原画像を立体視画像として表示させることが指示されると、ＣＰＵ１０は、記憶装置１３に記憶された原画像データについて、その原画像データに付加された立体化パラメータを用いて立体化処理（図４に示した処理）を順次に施し、この結果として得られた立体視画像を表示装置４０に表示させる。より具体的には、ＣＰＵ１０は、動画像を構成する原画像のいずれかを表示装置４０に表示させるベきタイミングが到来するたびに（すなわちリアルタイムに）その原画像の原画像データを対象とした立体化処理を実行し、これにより得られた立体視画像を表示装置４０に順次に表示させるのである。
【００５３】
このように、本実施形態においては、利用者からの指示に応じた立体化パラメータが原画像データに付加されて記憶装置１３に格納される。したがって、その後に原画像データから立体視画像データを生成するときには、利用者は立体化パラメータを入力する必要はないから、利用者の作業負担を軽減することができる。
【００５４】
また、本実施形態においては、奥行き値を修正するための奥行深度Ｄｃやオブジェクト深度Ｏｂ、奥行き値の上限値Ｄｕおよび下限値Ｄｌなどが利用者によって任意に選択されるから、利用者は所望の立体視画像を得ることができる。例えば、立体視画像の全体の奥行きを奥行深度Ｄｃに応じて変更することができ、最も奥として知覚される位置と最も手前として知覚される位置との隔たり（画像の立体感）をオブジェクト深度Ｏｂに応じて変更することができる。また、上限値Ｄｕおよび下限値Ｄｌを適宜に選択することにより、画像の乱れを抑えつつ自然な立体感を得ることができる。
【００５５】
＜Ｂ：第２実施形態＞
上述した第１実施形態においては、利用者によって選択された立体化パラメータを用いて立体化処理が実行される構成を例示した。これに対し、本実施形態においては、カメラなどの撮像装置から取得した情報に基づいて立体化パラメータが特定されるようになっている。なお、以下では、本実施形態に関わる技術的要素のうち上記第１実施形態と同様の役割を担うものについては共通の符号を付して適宜にその説明を省略する。
【００５６】
図１１は、本実施形態に係る画像処理装置の構成を示すブロック図である。同図に示すように、この装置１００のバス１５にはインタフェース（図示略）を介して撮像装置７０が接続される。撮像装置７０は、静止画像または動画像を撮像するための装置であり、例えばデジタルカメラである。この撮像装置７０は、撮像素子７１と制御部７２と記憶装置７３とを備えている。このうち撮像素子７１は、被写体を撮像してその平面画像を表す原画像データを生成する手段であり、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）である。制御部７２は、撮像素子７１による撮像の条件（以下「撮像条件」という）を利用者からの指示または所定のアルゴリズムに従って決定する手段であり、各種の演算や制御を行なうＣＰＵを含んでいる。この制御部７２によって決定される撮像条件としては、例えば、シャッタースピード、絞りまたは露光など、撮像に供される光量を調整する各種のパラメータがある。また、露光量を増加させる逆光補正など各種の補正処理を行なうか否かについても、制御部７２が撮像条件として決定する。一方、記憶装置７３は、撮像素子７１によって撮像された原画像データを記憶するための装置であり、例えば半導体メモリである。撮像素子７１によって撮像がなされると、これにより得られた原画像データと、その撮像に際して適用された撮像条件とが対応付けられて記憶装置７３に記憶される。
【００５７】
本実施形態においては、画像処理装置１００における立体化処理に用いられる立体化パラメータが、この撮像条件に基づいて特定されるようになっている。具体的には、シャッタースピードや絞りといった露光量に関わる撮像条件に基づいて、立体化処理に際して奥行き値の分布範囲を拡張する処理を実行すべきか否かを表す立体化パラメータ（以下では「拡張処理フラグ」という場合がある）が特定される。さらに、逆光補正の有無などの撮像条件に基づいて、立体化処理に際して画素移動量の大小と奥行き値の大小との関係を反転させるべきか否かを表す立体化パラメータ（以下では「反転処理フラグ」という）が特定される。以下、これらの立体化パラメータを特定する方法について詳述する。
【００５８】
いま、光量が多くて明るい環境のもとで原画像を撮像した場合、この原画像からステップＳ６１の手順を経て得られる奥行き値は、図１２（ａ）に示すように、多くの画素について全体的に大きい数値範囲Ａ（すなわち淡い階調）に偏ることとなる。ここで、撮像時のシャッタースピードの増加や絞りの抑制などによって撮像に供される光量を低減させた場合を想定する。この場合、撮像によって得られた原画像においては、図１２（ｂ）に示すように、多くの画素の奥行き値が中間的な階調の範囲Ｂに分布することとなる。しかしながら、図１２（ａ）に示したように撮像の環境全体が明るいため、この場合にも多くの画素の奥行き値は特定の範囲Ｂ内に偏在することとなる。上記実施形態に示したように立体視画像の奥行き（あるいは奥行きを決定する画素移動量）は奥行き値に基づいて決定されるから、この狭い範囲に偏在する奥行き値をそのまま立体化処理に用いるとすれば、得られた立体視画像は奥行き感に乏しいものとなり得る。
【００５９】
そこで、本実施形態においては、撮像条件に基づいて撮像環境の光量が過大であると判定される場合に、奥行き値の分布を拡張する処理が実行される。すなわち、全階調のうち特定の範囲Ｂに偏在する奥行き値を、図１２（ｃ）に示すように全階調にわたって均等に分布する数値に変更するのである。具体的には、原画像において特定の範囲Ｂに偏在している奥行き値に特定の係数を乗算することによって、当該範囲Ｂにおける最小の奥行き値を「０」に変更し、当該範囲における最大の奥行き値を「２５５」に変更する一方、その間の奥行き値は「０」から「２５５」までの範囲に分布するように変更するのである。ここで、本実施形態においては、図１２（ｃ）に示すように、範囲Ｂに属する奥行き値のうち小さい奥行き値ほど変更後の奥行き値の間隔が小さくなり、範囲Ｂに属する奥行き値のうち大きい奥行き値ほど変更後の奥行き値の間隔が大きくなるように、上記特定の係数が適宜に変更される。なお、ここでは撮像環境が明るい場合を想定したが、これとは逆に撮像環境が暗い場合にも同様の処理が実行される。
【００６０】
そして、本実施形態においては、撮像に供される光量を所定のしきい値よりも減らすように撮像条件が設定されている場合、より具体的にはシャッタースピードが所定のしきい値よりも速い数値に設定され、または絞りが所定のしきい値よりも抑制されている場合に、上述した奥行き値拡張処理が実行されるように立体化パラメータたる拡張処理フラグの値が特定される。そして、この拡張処理フラグに奥行き拡張処理の実行を表す数値がセットされている場合に限って、図４に示したステップＳ６３の直前に奥行き拡張処理が実行されるのである。
【００６１】
また、本実施形態においては、逆光補正の有無に応じて、図４のステップＳ６６における反転処理の要否を表す反転処理フラグの数値が特定される。すなわち、撮像時に逆光補正が行なわれているということは、多くの場合に、暗い被写体（すなわち奥行き値が小さい部分）が手前に位置し、明るい被写体（すなわち奥行き値が大きい部分）が奥に位置していると判定できる。そこで、逆光補正を実行したことが撮像条件に含まれている場合にはステップＳ６６の反転処理が実行されるように反転処理フラグの数値が特定されるのである。
【００６２】
次に、本実施形態の動作を説明する。利用者は、撮像装置７０を用いて所望の被写体を撮像し、この撮像装置７０を画像処理装置１００に接続する。この後、利用者によって入力装置３０に所定の操作がなされて画像処理プログラム１３２の起動指示が与えられると、ＣＰＵ１０は、記憶装置１３に記憶された画像処理プログラム１３２をＲＡＭ１２に読み込んだうえでこれを順次に実行する。図１３は、画像処理プログラム１３２が実行されたときの処理の流れを示すフローチャートである。
【００６３】
同図に示すように、ＣＰＵ１０はまず、記憶装置７３に記憶された原画像データと撮像条件とを撮像装置７０の制御部７２から取得して記憶装置１３に格納する（ステップＳｂ１）。次いで、ＣＰＵ１０は、記憶装置１３に記憶した撮像条件に基づいて立体化パラメータを特定する（ステップＳｂ２）。本実施形態においては、上述したように、シャッタースピードや絞りといった撮像条件に基づいて拡張処理フラグの数値が特定され、逆光補正の有無に基づいて反転処理フラグの数値が特定される。
【００６４】
続いて、ＣＰＵ１０は、記憶装置１３に記憶されている原画像データに対して、ステップＳｂ２において特定された立体化パラメータを付加する（ステップＳｂ３）。この結果、記憶装置１３による記憶内容は図１０に示したものとなる。ただし、撮像装置７０から取得した撮像条件によっては必ずしもすべての立体化パラメータを得ることができない場合もある。この場合には、撮像条件から得られた立体化パラメータとともに、予め用意された立体化パラメータが原画像データに付加される。あるいは、上記第１実施形態と同様に利用者に対して立体化パラメータの入力を促し、この入力に応じて特定された立体化パラメータが原画像データに付加される構成としてもよい。
【００６５】
次に、ＣＰＵ１０は、原画像データに付加された立体化パラメータを用いて立体化処理を実行する（ステップＳｂ４）。この立体化処理の内容は図４を参照して上述したのと同様である。ただし、上述したように、拡張処理フラグの内容によっては、ステップＳ６３の直前に奥行き値拡張処理が実行されることとなる。そして、ＣＰＵ１０は、この立体化処理によって得られた立体視画像を表示装置４０に表示させて（ステップＳｂ５）、図１３に示した処理を終了する。なお、既に立体化パラメータが設定された原画像を立体視画像として表示させるときの動作は上記第１実施形態と同様である。
【００６６】
本実施形態によれば、撮像装置７０による撮像条件に応じて立体化パラメータが特定されるから、利用者が立体化パラメータを入力する作業を軽減することができる。しかも、撮像条件は撮像時における環境（例えば周囲の明るさ）を反映したものであるため、この撮像条件に基づいて決定された立体化パラメータを用いることによって、実際に撮像された被写体により忠実な立体視画像が得られる。
【００６７】
なお、本実施形態においては、撮像装置７０が画像処理装置１００とは別体の装置である場合を想定したが、撮像装置７０が画像処理装置１００と一体に構成されていてもよい。例えば、撮像装置７０が一体に設けられた電子機器（例えば携帯電話機）を画像処理装置１００として用いることもできる。
【００６８】
＜Ｃ：変形例＞
以上に説明した第１および第２の実施形態はあくまでも例示であり、この形態に対しては本発明の趣旨から逸脱しない範囲で様々な変形を加えることができる。具体的な変形の態様としては、例えば以下のようなものが考えられる。
【００６９】
＜Ｃ−１：変形例１＞
上記各実施形態においては、立体化パラメータが原画像データに付加される構成を例示したが、立体化パラメータを記憶する方法はこれに限られない。例えば、図１４に示すように、立体化パラメータを原画像データとは別個のファイルとして記憶するとともに、原画像データと立体化パラメータとの対応関係を表すテーブルを記憶装置１３に記憶させる構成としてもよい。図１４に示すテーブルは、原画像データを識別するための情報と、その原画像データの立体化処理に際して用いられるべき立体化パラメータを識別するための情報とを対応付けるものである。そして、ＣＰＵ１０が、いずれかの原画像データに対して立体化処理を実行するときに、テーブルにおいてその原画像データに対応付けられた立体化パラメータを読み出し、これを立体化処理に際して用いる構成としてもよい。
【００７０】
また、図１５に示すように、立体化パラメータを原画像データとは別個のファイルとして記憶装置１３に記憶させるとともに、このファイルに、各立体化パラメータが適用されるべき原画像データを特定するための情報を含ませる構成としてもよい。このように、本発明においては、立体化パラメータと原画像データとが対応付けられていれば足り、その方法の如何は不問である。
【００７１】
＜Ｃ−２：変形例２＞
利用者に指示される立体化パラメータの種類は上記各実施形態に示したものに限られない。例えば、右目用画像および左目用画像の各々を表示させるべき走査線４０２を奇数番目および偶数番目のいずれとするかを表す情報が立体化パラメータとして記憶装置１３に記憶されるようにしてもよい。右目用画像および左目用画像を表示すべき走査線４０２を切り換えた場合には、右目用画像が利用者の左目によって視認され、左目用画像が利用者の右目によって視認されることとなるから、立体視画像における奥と手前との関係が逆転することとなる。また、図４のステップＳ６２にて用いられるサンプリング領域Ａｓの大きさや位置、あるいは数を指示するパラメータが立体化パラメータとして記憶装置１３に記憶される構成としてもよい。また、上記第２実施形態においては、撮像条件に基づいて拡張処理フラグおよび反転処理フラグが特定される構成を例示したが、奥行深度Ｄｃやオブジェクト深度Ｏｂといったその他の立体化パラメータが撮像条件に基づいて特定される構成としてもよい。
【００７２】
＜Ｃ−３：変形例３＞
上記各実施形態においては、表示装置４０の表示面４０１に偏光フィルムを貼り付けて立体視を実現する場合を例示したが、この立体視を実現するための方法はこれに限られず、公知である各種の方法を採用することができる。例えば、利用者の左目および右目に対して別個の表示面を視認させるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）方式や、表示装置に右目用画像と左目用画像とを交互に表示させる一方、眼鏡の左右のレンズ位置に設けられた液晶パネル（いわゆる液晶シャッタ）を表示の切り替えに同期させて交互に遮光状態または透光状態とする時分割シャッタメガネ方式などを採用することができる。あるいは、液晶パネルとレンチキュラーレンズとを組み合わせて左目用画像の光を左目に、右目用画像の光を右目に導くレンチキュラー方式や、表示装置の表示面上に形成されたスリットによって左目用画像の画素を左目に、右目用画像の画素を右目に視認させる方式など、所定の眼鏡を用いなくても立体視画像を視認できる方法を採用することもできる。要するに、相互に視差を有する２つの画像の一方を利用者の左目に視認させ他方を右目に視認させる構成であれば、その他の構成の如何は不問である。また、立体視を実現する複数の方法のうちいずれかを利用者が選択し得る構成とし、この選択された方法を立体化パラメータとして原画像データに対応付けるようにしてもよい。
【００７３】
＜Ｃ−４：変形例４＞
上記実施形態においては、利用者からの指示または撮像条件に応じて立体化パラメータが特定される構成を例示したが、以下の構成としてもよい。すなわち、各立体化パラメータについて異なる数値が設定された複数の組を予め記憶装置１３に記憶しておく。そして、利用者からの指示または撮像条件に応じていずれかの組が選定されるとともに、この組に含まれる立体化パラメータに基づいて立体化処理が行なわれる構成としてもよい。
【００７４】
＜Ｃ−５：変形例５＞
上記第１実施形態においては、原画像データがビデオテープレコーダ２０から取得される場合を想定したが、記憶装置１３に予め原画像データが記憶されている構成としてもよいし、あるいはインターネットに代表されるネットワークや通信衛星など、情報を提供するための各種の設備から原画像データが取得される構成としてもよい。また、静止画像や動画像を撮像するための撮像装置（例えばデジタルカメラ）や、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ − Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）に代表される各種の記録媒体からデータを読み出すディスク駆動装置、あるいはテレビジョン受像機といった各種の機器から原画像データが取得されるようにしてもよい。なお、これらの機器において原画像データがデジタルデータとして保持されている場合には、図１に示したＡ／Ｄ変換器２１は不要である。
【００７５】
また、本発明において立体化処理の対象とされる原画像はカラー画像に限られるものではない。例えば、モノクロ画像や赤外線カメラによって撮像された画像、あるいは人体のＸ線写真（レントゲン写真）として得られた画像を立体化処理の対象とすることもできる。このように、本発明においては、原画像の種類や被写体の内容、および原画像を取得する方法は不問である。
【００７６】
【発明の効果】
以上説明したように、本発明によれば、画像の立体化に関わる各種の条件を指示する利用者の負担を軽減することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】表示装置および立体視眼鏡の構成を示す図である。
【図３】画像編集ウィンドウの内容を示す図である。
【図４】立体化処理の内容を示すフローチャートである。
【図５】奥行き値の修正処理の内容を説明するための図である。
【図６】反転判定処理の内容を説明するための図である。
【図７】平均化処理の内容を説明するための図である。
【図８】範囲限定処理の内容を説明するための図である。
【図９】画像処理プログラムの内容を示すフローチャートである。
【図１０】原画像データと立体化パラメータとが記憶装置に記憶された様子を示す図である。
【図１１】本発明の第２実施形態に係る画像処理装置の構成を示すブロック図である。
【図１２】同実施形態における奥行き値拡張処理について説明するための図である。
【図１３】同実施形態における画像処理プログラムの内容を示すフローチャートである。
【図１４】実施形態の変形例における記憶装置の記憶内容を示す図である。
【図１５】実施形態の変形例における記憶装置の記憶内容を示す図である。
【符号の説明】
１００……画像処理装置、１０……ＣＰＵ、１３……記憶装置、１３１，１３２……画像処理プログラム、４０……表示装置、５０……立体視眼鏡、７０……撮像装置、７１……撮像素子、７２……制御部、７３……記憶装置、８０……画像編集ウィンドウ。
【発明の属する技術分野】
本発明は、利用者に立体として知覚される画像を平面画像から生成するための技術に関する。
【０００２】
【従来の技術】
相互に視差を有する２つの画像の一方を左目に視認させて他方を右目に視認させると、利用者にその画像を立体として知覚させることができる。このような視差を有する画像（以下「立体視画像」という）を平面画像から生成するための技術が従来から提案されている（特許文献１参照）。この技術においては、画像を視認した利用者に知覚されるべき奥行きなど各種のパラメータに基づいて立体視画像が生成される。
【０００３】
【特許文献１】
特開２００２−１２３８４２号公報（段落００３３および第７図参照）
【０００４】
【発明が解決しようとする課題】
この技術のもとで、立体視画像を生成するときの各種のパラメータを利用者が任意に選定し得る構成とすれば、その所望の立体感を有する画像を生成することができて便利である。しかしながら、この構成を採用した場合には、平面画像の立体化処理のたびにパラメータを指示する必要が生じ、利用者に煩雑な作業を強いるという問題が生じ得る。特に連続的な複数の画像からなる動画像を立体化処理の対象とした場合には、各画像に関する条件を指示する作業は極めて煩雑となる。
【０００５】
本発明は、以上説明した事情に鑑みてなされたものであり、画像の立体化処理に用いられる各種のパラメータの入力に要する利用者の負担を軽減することができる画像処理装置、撮像装置およびプログラムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明の第１の特徴は、画像を表す原画像データから相互に視差のある右目用画像と左目用画像とを生成する立体化処理を実行する立体化処理手段と、前記立体化処理に際して用いられる立体化パラメータを外部からの指示に応じて特定するパラメータ特定手段と、前記パラメータ特定手段によって特定された立体化パラメータを前記原画像データと対応付けて記憶装置に記憶させる制御手段とを具備することにある。
【０００７】
この構成によれば、利用者からの指示に応じて特定された立体化パラメータが原画像データとともに記憶装置に記憶されるようになっている。このため、利用者の指示に応じて立体化パラメータがいちど特定されれば、その後に原画像データから立体視画像を生成するときには再び立体化パラメータが特定される必要はない。したがって、立体化処理に関わる各種のパラメータを指示する利用者の負担を軽減することができる。
【０００８】
また、本発明の第２の特徴は、画像を表す原画像データから相互に視差のある右目用画像と左目用画像とを生成する立体化処理を実行する立体化処理手段と、被写体を撮像する撮像装置から、撮像された画像を表す原画像データとその画像が撮像されたときの撮像条件とを取得する取得手段と、前記取得手段によって取得された撮像条件に基づいて、前記立体化処理に際して適用されるべき立体化パラメータを特定するパラメータ特定手段と、前記パラメータ特定手段によって特定された立体化パラメータを前記取得手段によって取得された原画像データと対応付けて記憶装置に記憶させる制御手段とを具備することにある。
【０００９】
この構成によれば、撮像装置から取得した撮像条件に基づいて、立体化処理に際して適用されるべき立体化パラメータが特定される。このため、その立体化パラメータについて利用者は指示する必要がない。したがって、立体化処理に関わる各種のパラメータを指示する利用者の負担を軽減することができる。しかも、この構成においては、撮像条件を撮像時における環境（例えば周囲の明るさ）を反映したものとすれば、この撮像条件に基づいて特定された立体化パラメータを用いることによって、実際の被写体により忠実な立体視画像が得られる。
【００１０】
上記第１または第２の特徴を有する画像処理装置においては、立体化パラメータが原画像データの先頭または後尾に付加されるようにしてもよいし、立体化パラメータを原画像とは別個に記憶させる一方、原画像データを特定するための情報と立体化パラメータを特定するための情報とが対応付けられたテーブルを記憶装置に記憶させるようにしてもよい。
【００１１】
また、上記第１または第２の特徴を有する画像処理装置においては、前記立体化処理手段が、各画素ごとに前記原画像データから奥行き値を求める算出手段と、前記算出手段によって求められた奥行き値を修正する修正手段と、前記修正手段によって求められた奥行き値に応じた視差を有する前記右目用画像と前記左目用画像とを生成する画像生成手段とを備え、前記パラメータ特定手段が、前記修正手段による奥行き値の修正内容に関する立体化パラメータを特定する構成としてもよい。この構成によれば、利用者による指示の負担を低減しつつ、各画素の奥行き値を修正することができる。
【００１２】
さらに、各画素の奥行き値を修正する修正手段を具備する画像処理装置においては、以下の構成を採用することもできる。すなわち、まず、修正手段が、すべての画素に共通の数値である奥行深度を当該各画素の奥行き値に対して加算する手段を備える構成のもとでは、前記パラメータ特定手段によって特定される立体化パラメータが前記奥行深度を含むものとしてもよい。この構成によれば、立体視画像を視認した利用者によって知覚される画像全体の奥行きが立体化パラメータに応じて修正される。また、修正手段が、各画素の奥行き値を、当該画素を含む領域における奥行き値の平均値に更新する手段を備える構成のもとでは、前記パラメータ特定手段によって特定される立体化パラメータが、前記領域の大きさを表す数値を含むものとしてもよい。この構成によれば、近接し合う画素の奥行き値の差異を抑えて立体視画像の画質を維持することができる。
【００１３】
また、修正手段が、各画素の奥行き値を複数の離散値に近似させる手段を備える構成のもとでは、前記パラメータ特定手段によって特定される立体化パラメータが、前記各離散値の間隔を表す丸め係数を特定するための数値を含むものとしてもよい。こうすれば、奥行き値の段階数を離散値の段階数に応じて変化させることができるから、立体視画像における奥行きの範囲が適宜に選定されるとともに、立体視画像における視差を特定の範囲に限定することができる。この構成のもとでは、丸め係数を特定するための数値として、前記複数の離散値の段階数であるオブジェクト深度を用いてもよい。
【００１４】
さらに、修正手段が、各画素の奥行き値を特定の範囲内の数値に修正する手段を備える構成のもとでは、前記パラメータ特定手段によって特定される立体化パラメータが、前記特定の範囲の上限値および下限値の少なくとも一方を含むものとしてもよい。この構成によれば、各画素の奥行き値が特定の範囲に限定されるから、立体視画像における視差を利用者によって視認可能な範囲に限定することができる。
【００１５】
また、本発明に係る画像処理装置において、動画像を構成する複数の画像の各々について原画像データが記憶装置に記憶される構成を採用する場合には、立体化処理手段が、記憶装置に記憶された原画像データの各々について、当該原画像データに対応付けられた立体化パラメータを用いた立体化処理をリアルタイムに（すなわち、原画像データが表す画像を表示装置に表示すべきタイミングが到来するたびに）実行する構成としてもよい。
【００１６】
なお、上記第１または第２の特徴を有する画像処理装置としてコンピュータを機能させるためのプログラムとしても本発明は特定され得る。このプログラムは、ネットワークを介してコンピュータに提供されるものであってもよいし、光ディスクに代表される各種の記録媒体に格納された形態で提供されてコンピュータにインストールされるものであってもよい。
【００１７】
また、上記第１または第２の特徴を有する画像処理装置において処理に供されるデータとしても本発明は特定され得る。すなわち、上述した第１の特徴については、画像を表す原画像データから相互に視差のある右目用画像と左目用画像とを生成する立体化処理を行なう画像処理装置において処理に供されるデータであって、前記立体化処理に際して用いられるパラメータとして利用者による指示に応じて特定された立体化パラメータと、その立体化パラメータを用いて立体化処理に供されるべき原画像データとが対応付けられたデータ構造を有することを特徴とする。一方、第２の特徴については、画像を表す原画像データから相互に視差のある右目用画像と左目用画像とを生成する立体化処理を行なう画像処理装置において処理に供されるデータであって、被写体を撮像する撮像装置から取得した原画像データと、その画像が撮像されたときの撮像条件であって前記撮像装置から取得した撮像条件に基づいて特定された立体化パラメータとが対応付けられたデータ構造を有することを特徴とする。
【００１８】
一方、本発明に係る撮像装置は、上記第２の特徴を有する画像処理装置に対して立体化処理に供されるべき原画像データを提供することを特徴としている。すなわち、この撮像装置は、特定の撮像条件のもとで被写体を撮像する撮像手段と、前記撮像手段によって撮像された画像を表す原画像データと、その画像が撮像されたときの撮像条件であって当該画像を対象とした前記立体化処理に際して適用されるべき立体化パラメータを特定するための撮像条件とを対応付けて記憶装置に記憶させる制御手段とを具備することを特徴とする。
【００１９】
【発明の実施の形態】
以下、図面を参照して、本発明の実施形態について説明する。
【００２０】
＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る画像処理装置の構成を示すブロック図である。同図に示すように、この装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０と、このＣＰＵ１０にバス１５を介して接続されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１２および記憶装置１３とを有する。バス１５には、表示装置４０および入力装置３０が接続されている。このように、画像処理装置１００は、パーソナルコンピュータに代表される一般的なコンピュータと同様の構成を有する。
【００２１】
ＣＰＵ１０は、この画像処理装置１００の各部を中枢的に制御するための装置であり、プログラムに従って演算処理や各部の制御を行なうことによって種々の機能を実現する。ＲＯＭ１１はＣＰＵ１０によって実行されるプログラムを記憶するためのメモリであり、ＲＡＭ１２はＣＰＵ１０によって作業領域として使用されるメモリである。
【００２２】
記憶装置１３は、ＣＰＵ１０によって実行される各種のプログラムやこのプログラムの実行に伴なって使用される各種のデータを記憶する装置である。例えば、磁気ディスクを内蔵したハードディスク装置や、ＣＤ−ＲＯＭに代表される可搬型の記録媒体を収容するディスク装置などが記憶装置１３として採用され得る。この記憶装置１３には、画像処理装置１００の全体動作を管理するためのＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）のほか、画像に関する処理を行なうためのアプリケーションプログラム（以下「画像処理プログラム」という）１３１が記憶されている。この画像処理プログラム１３１は、原画像たる平面画像を表すデータ（以下「原画像データ」という）から立体視画像を表すデータ（以下「立体視画像データ」という）を生成する機能を提供する。この立体視画像は、利用者の右目によって視認されるべき画像（以下「右目用画像」という）と左目によって視認されるべき画像（以下「左目用画像」という）とが合成された画像である。左目用画像と右目用画像とは視差を有する。すなわち、これらの画像は、原画像の被写体を構成する画素を当該被写体の奥行きに応じた量（以下「画素移動量」という）だけ水平方向に移動させた画像である。利用者は、右目によって右目用画像を視認するとともに左目によって左目用画像を視認することにより、原画像に含まれる各被写体についてその画素移動量に応じた奥行きを知覚することとなる。
【００２３】
この画像処理プログラム１３１による処理の対象となる画像は、例えばビデオテープレコーダ２０から取得される。ビデオテープレコーダ２０は、動画像を表すアナログ信号を利用者による操作に応じて出力する。このアナログ信号は、Ａ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換器２１によってデジタルデータに変換されたうえで画像処理装置１００に入力される。ＣＰＵ１０は、このデジタルデータをひとつの画像ごとにキャプチャしたうえで原画像データとして記憶装置１３に記憶させる。本実施形態においては、原画像データが、原画像を構成する各画素の表示色をＲＧＢ形式にて表すデータである場合を想定する。すなわち、原画像データのうちひとつの画素に対応するデータは、その画素の表示色のうち赤色成分の数値Ｒと緑色成分の数値Ｇと青色成分の数値Ｂとを含んでいる。
【００２４】
入力装置３０は、マウスなどのポインティングデバイスと、文字や記号を入力するためのキーボードとを備え、利用者による操作に応じた信号をＣＰＵ１０に出力する。利用者は、この入力装置３０を適宜に操作することによって、原画像データから立体視画像データを生成するときに適用されるべき各種のパラメータ（以下「立体化パラメータ」という）を入力することができる。
【００２５】
表示装置４０は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）や液晶表示パネルなどを備え、ＣＰＵ１０による制御のもとに各種の画像を表示する。さらに、本実施形態における表示装置４０は、立体視画像のうち右目用画像を利用者の右目のみに視認させる一方、左目用画像を利用者の左目のみに視認させるように、立体視画像データに応じた画像の表示を行なうことができるようになっている。このような立体視画像を利用者に知覚させるための構成としては従来から種々の構成が提案されているが、本実施形態においては偏光フィルタを用いた構成を想定する。
【００２６】
すなわち、図２（ａ）に示すように、表示装置４０の表示面４０１には、その面の上から数えて奇数番目の走査線４０２に対応する領域と偶数番目の走査線４０２に対応する領域とで偏光方向が異なる偏光フィルタ４０３が貼り付けられている。図２（ａ）に示す例では、表示面４０１のうち奇数番目の走査線４０２と重なる領域には図面右上から左下に向かう方向の偏光軸を有する偏光フィルタ４０３が貼り付けられ、偶数番目の走査線４０２と重なる領域には図面左上から右下に向かう方向の偏光軸を有する偏光フィルタ４０３が貼り付けられている。一方、立体視画像を視認しようとする利用者は、眼鏡に類似した形状を有する器具（以下「立体視眼鏡」という）５０を頭部に装着する。この立体視眼鏡５０は、偏光軸が偶数番目の偏光フィルタ４０３と同一方向に設定された偏光フィルタが貼り付けられて利用者の右目を覆う右目用レンズ５０１と、偏光軸が奇数番目の偏光フィルタと同一方向に設定された偏光フィルタ４０３が貼り付けられて利用者の左目を覆う左目用レンズ５０２とを有する。この構成のもとで、例えば、偶数番目の走査線４０２によって右目用画像を表示させるとともに、奇数番目の走査線４０２によって左目用画像を表示させることによって、右目用画像は利用者の右目のみによって視認され、左目用画像は左目のみによって視認されるのである。
【００２７】
また、表示装置４０には、利用者が原画像を編集するための画像（以下「画像編集ウィンドウ」という）が表示される。図３に示すように、この画像編集ウィンドウ８０は、縮小表示領域８１と画像表示領域８２と効果設定領域８３とを含んでいる。このうち縮小表示領域８１は、動画像を構成する複数の原画像が縮小されたうえで水平方向に配列される領域である。利用者は、入力装置３０のマウスを用いてスクロールバー８１１を適宜に操作することによって、動画像のうち縮小表示領域８１に表示されるべき原画像を任意に変更することができる。また、画像表示領域８２は、原画像から得られた立体視画像が表示される領域である。
【００２８】
一方、効果設定領域８３は、立体化処理に関わる各種の立体化パラメータを利用者が入力するための領域である。この効果設定領域８３において入力される立体化パラメータの種類は図３に示す通りであるが、ここでは効果設定領域８３の具体的な説明に先立って、画像処理プログラム１３１の実行に伴なう立体化処理の具体的な内容を説明し、この説明に沿って、効果設定領域８３において入力される各種の立体化パラメータの意味に言及する。なお、ここでは説明の便宜のために、ひとつの画像が立体化処理の対象とされた場合を想定する。
【００２９】
＜立体化処理の内容＞
図４は、立体化処理の具体的な内容を示すフローチャートである。同図に示すように、立体化処理を開始すると、ＣＰＵ１０はまず、処理対象となる原画像データに基づいて各画素ごとに奥行き値（Ｚ値）を算出する（ステップＳ６１）。この奥行き値は、画素移動量を決定するための基礎となる数値である。本実施形態においては、原画像をグレースケールとして表現したときの階調を奥行き値として用いる。具体的には、以下の式（１）に示すように、ひとつの画素の表示色のうち赤色成分Ｒ、緑色成分Ｇおよび青色成分Ｂの各々に対して所定の係数を乗じたうえで総和することによって得られる数値を奥行き値として用いる。
（奥行き値）＝Ｒ×α＋Ｇ×β＋Ｂ×γ （１）
この式（１）において係数α、βおよびγの値は適宜に選定し得る。具体的には、係数αを「０．３」、係数βを「０．５９」、係数γを「０．１１」程度に設定することが望ましい。なお、本実施形態においては、奥行き値が８ビットで表される場合を想定する。したがって、奥行き値は「０」から「２５５」までの２５６通りの数値をとり得る。
【００３０】
続いて、ＣＰＵ１０は、立体視画像をより自然な立体感が得られる画像とするために、ステップＳ６１にて得られた奥行き値を修正するための処理を行なう（ステップＳ６２からＳ６７）。図５は、この修正処理に伴なう奥行き値の変化の様子を模式的に表す図である。同図においては、ひとつの走査線４０２に属する画素の位置が横軸に示され、各画素の奥行き値が縦軸に示されている。上記ステップＳ６１にて得られた奥行き値は図５（ａ）に示す通りである。以下、この図を参照しながら、ステップＳ６２からＳ６７の具体的な処理の内容を説明する。
【００３１】
まず、ＣＰＵ１０は、立体視画像を生成するときの画素移動量の大小と奥行き値の大小との関係を反転させるべきか否かを判定する（ステップＳ６２）。いま、ステップＳ６１にて得られた奥行き値に比例するように画素移動量を決定するものと仮定すれば、奥行き値が大きい被写体（すなわち明るい被写体）ほど利用者からみて手前に近づき、奥行き値が小さい被写体（すなわち暗い被写体）ほど利用者からみて奥に遠ざかることとなる。ここで、実際の原画像において暗い被写体が奥に位置し、明るい被写体が手前に位置する場合にはこの方法で自然な立体視が実現される。しかしながら、原画像のなかには、明るい背景（例えば青空）の中央に暗い被写体が存在するといった具合に、奥行き値が大きい被写体ほど利用者からみて奥に位置し、奥行き値が小さい被写体ほど利用者からみて手前に位置するものも想定し得る。このような画像について奥行き値に比例するように画素移動量を決定するものとすれば、利用者が知覚する立体視画像は被写体の遠近が逆転した不自然なものとなる。そこで、ステップＳ６２において、原画像の奥行き値の変化の傾向に基づいて、画素移動量の大小と奥行き値の大小との関係を反転させるべきか否かを判定するのである。
【００３２】
具体的には、ＣＰＵ１０は、原画像に含まれるすべての画素の奥行き値の平均値を算出する一方、この原画像を区分した複数の領域（以下「サンプリング領域」という）の各々について、当該領域に属する画素の奥行き値の平均値を算出する。本実施形態においては、図６に示すように、原画像Ｇを９つのサンプリング領域Ａｓに区分した場合を想定する。これらのサンプリング領域Ａｓの各々には、画像中の被写体の遠近に関する一般的な傾向に応じて決定された値（以下「重み値」という）が予め設定されている。この一般的な傾向とは、画像のうち上部の方が下部よりも遠景（例えば空）である場合が多く、画像のうち中央に近い部分の方がその周辺の部分よりも遠景である場合が多いというものである。具体的には、図６に示すように、原画像Ｇのうち上方寄りのサンプリング領域Ａｓには下方寄りのサンプリング領域Ａｓよりも大きい重み値が設定されており、原画像Ｇのうち中央寄りのサンプリング領域Ａｓには周辺寄りのサンプリング領域Ａｓよりも大きい重み値が設定されている。ＣＰＵ１０は、９つのサンプリング領域Ａｓのうち奥行き値の平均値が原画像Ｇ全体の平均値よりも大きいサンプリング領域Ａｓを特定し、特定した１以上のサンプリング領域Ａｓの重み値を合計する。そして、求められた合計値が予め定められたしきい値以上である場合、すなわち原画像Ｇの上部が下部よりも明るく、または中央部が周辺部よりも明るい傾向にある場合には、ＣＰＵ１０は、画素移動量の大小と奥行き値の大小との関係を反転させると判定する。これに対し、求められた合計値が予め定められたしきい値未満である場合、すなわち原画像Ｇの上部が下部よりも暗く、または中央部が周辺部よりも暗い傾向にある場合には、ＣＰＵ１０は、画素移動量の大小と奥行き値の大小との関係を反転させないと判定する。
【００３３】
この反転判定処理に続いて、ＣＰＵ１０は、ステップＳ６１にて算出した奥行き値を平均化するための処理を行なう（ステップＳ６３）。この処理を行なうのは、原画像のうち近接する画素において奥行き値の差異が著しく大きいと立体視画像における画素の乱れが発生するからである。
【００３４】
具体的には、図７に示すように、ＣＰＵ１０は、原画像Ｇに含まれる各画素Ｐごとに、その画素Ｐを含む特定の領域（以下「マトリクス領域」という）Ａｍにおける奥行き値の平均値を算出し、この求めた平均値を当該画素Ｐの奥行き値として更新する。すなわち、各画素Ｐの奥行き値が、当該画素Ｐを左上隅に含むマトリクス領域Ａｍにおける奥行き値の平均値に変更されることとなる。この処理の結果、図５（ｂ）に示すように、原画像において近接する画素の奥行き値の変化は、ステップＳ６１にて算出された奥行き値よりも滑らかなものとなる。この処理において用いられるマトリクス領域Ａｍの大きさ（以下「マトリクス寸法」という）Ｓｍは、図３に示した効果設定領域８３において立体化パラメータのひとつとして利用者に指示される。このマトリクス寸法Ｓｍが大きいほど平均値を算出する対象となる画素数が多くなるから、各画素同士の奥行き値の相違、ひいては利用者によって知覚される立体感は小さくなる。一方、マトリクス寸法Ｓｍが小さいほど平均値を算出する対象となる画素数は少なくなるから、各画素同士の奥行き値の相違、つまり利用者によって知覚される立体感は大きくなる。
【００３５】
ところで、立体視画像における画素移動量の最小の単位はひとつの画素である。すなわち、ひとつの画素よりも小さい量を画素移動量として設定することはできない。したがって、奥行き値が「１」だけ増加するごとに画素移動量をその最小単位である画素ひとつ分だけ増加させるとしても、奥行き値が最大値たる「２５５」である場合には画素移動量が画素２５６個分に相当する大きさとなる。しかしながら、画素移動量があまりに大きくなると（例えば８ｍｍ以上になると）立体視画像を視認する利用者に目の疲労が生じやすくなり、さらには利用者が立体として知覚しにくくなるといった問題が生じ得る。このため、ＣＰＵ１０は、ステップＳ６３にて得られた各画素の奥行き値をいくつかの段階の離散値に近似するための処理を行なう（ステップＳ６４）。
【００３６】
具体的には、ＣＰＵ１０は、各画素ごとに、ステップＳ６３にて得られた奥行き値を特定の数値（以下「丸め係数」という）ＭＫで除し、この除算結果を整数化した数値に対して同じ丸め係数ＭＫを乗算する。この結果、図５（ｃ）に示すように、各画素の奥行き値は丸め係数ＭＫの整数倍に相当する数値に近似されるのである。つまり、丸め係数ＭＫは、奥行き値が近似されるべき各離散値の間隔の大きさを表す数値であるということができる。本実施形態においては、この丸め係数ＭＫとして、奥行き値の取り得る値の最大値（２５５）をオブジェクト深度で除した値を整数化した数値が用いられる。このオブジェクト深度Ｏｂは、近似により得られた奥行き値がとり得る値の段階数を表す。また、上述したように画素移動量の段階数は奥行き値の段階数に比例するから、オブジェクト深度Ｏｂは、利用者が立体視画像を視認したときに最も奥と知覚する位置と最も手前と知覚する位置との隔たりの大きさを表す数値ということもできる。このオブジェクト深度は、図３に示した効果設定領域８３において立体化パラメータのひとつとして利用者に指示された数値に設定される。もっとも、丸め係数ＭＫそのものが立体化パラメータのひとつとして利用者に指示される構成としてもよい。
【００３７】
この量子化処理に続いて、ＣＰＵ１０は、各画素の奥行き値を特定の範囲内の数値に限定するための処理を行なう（ステップＳ６５）。この範囲の上限値Ｄｕおよび下限値Ｄｌは、図３に示した効果設定領域８３において立体化パラメータのひとつとして利用者に指示される。さらに、本実施形態においては、奥行き値の限定の方法として、「丸め」、「折返」および「横滑」という３つの方法が用意されており、このうちのいずれかが画像編集ウィンドウ８０において立体化パラメータとして利用者に指示されるようになっている（図３参照）。以下、この３つの方法の具体的な内容を説明する。
【００３８】
まず、利用者によって「丸め」が指示されている場合、ＣＰＵ１０は、図８（ａ）に示すように、各画素ごとに、奥行き値が下限値Ｄｌよりも小さいときには当該画素の奥行き値をその下限値Ｄｌに変更する一方、奥行き値が上限値Ｄｕよりも大きいときには当該画素の奥行き値をその上限値Ｄｕに変更する。また、利用者によって「折返」が指示されている場合、ＣＰＵ１０は、図８（ｂ）に示すように、各画素の奥行き値を上限値Ｄｕまたは下限値Ｄｌを基準として折り返した数値に変更する。すなわち、ＣＰＵ１０は、下限値Ｄｌよりも小さい奥行き値を、下限値Ｄｌを基準として反転させたときの数値に変更する。同様に、ＣＰＵ１０は、上限値Ｄｕよりも大きい奥行き値を、上限値Ｄｕを基準として反転させたときの数値に変更する。一方、利用者によって「横滑」が指示されている場合、ＣＰＵ１０は、図８（ｃ）に示すように、各画素の奥行き値を上限値Ｄｕまたは下限値Ｄｌを基準として平行移動した数値に変更する。すなわち、ＣＰＵ１０は、下限値Ｄｌよりも小さい奥行き値を、下限値Ｄｌと奥行き値のとり得る最小値（０）との差に相当する量だけ増加させた数値に変更する。同様に、ＣＰＵ１０は、上限値Ｄｕよりも大きい奥行き値を、奥行き値のとり得る最大値（２５５）と上限値Ｄｕとの差に相当する量だけ減少させた数値に変更する。この処理により、図５（ｄ）に示すように、すべての画素の奥行き値が下限値Ｄｌから上限値Ｄｕまでの範囲内の数値に限定されることとなる。
【００３９】
次いで、ＣＰＵ１０は、ステップＳ６２における判定結果に応じて適宜に反転処理を実行する（ステップＳ６６）。すなわち、ステップＳ６２において反転させることを判定した場合、ＣＰＵ１０は、画素移動量の大小と奥行き値の大小との関係が反転するように、各画素の奥行き値を修正する。具体的には、ＣＰＵ１０は、各画素ごとに、奥行き値の最大値である「２５５」からステップＳ６５にて得られた奥行き値を減じた値を、当該画素の新たな奥行き値とする。これにより、奥行き値が大きいほど画素移動量が小さく、奥行き値が小さいほど画素移動量が大きくなる。一方、ステップＳ６２において反転させないと判定している場合、ＣＰＵ１０は、各画素の奥行き値をステップＳ６５にて得られた数値に維持する。
【００４０】
続いて、ＣＰＵ１０は、ステップＳ６６の結果として得られたすべての画素の奥行き値に対して共通の数値（以下「奥行深度」という）Ｄｃを加算する（ステップＳ６７）。この奥行深度Ｄｃは、原画像の全体に共通して反映させるべき奥行きを表す数値である。すなわち、利用者が最も奥として知覚する位置と最も手前として知覚する位置との間の範囲がオブジェクト深度Ｏｂによって特定される一方、この範囲全体の奥行きが奥行深度Ｄｃによって特定されるということができる。この奥行深度Ｄｃは、図３に示した効果設定領域８３において立体化パラメータのひとつとして利用者に指示される。この奥行深度Ｄｃとしては、正数のみならず「０」や負数を選択することもできる。
【００４１】
以上が奥行き値の修正に関わる処理である。これらの処理が完了すると、ＣＰＵ１０は、得られた奥行き値に基づいて立体視画像を生成する（ステップＳ６８）。すなわち、原画像に含まれる各画素を、当該画素の奥行き値に応じた量だけ水平方向に移動させて右目用画像および左目用画像を生成し、これらの画像を合成することによって立体視画像を生成するのである。
【００４２】
再び図３において、画像編集ウィンドウ８０の効果設定領域８３のうち部分８３１は、編集の対象となる原画像の範囲、すなわち利用者によって指示された立体化パラメータが適用されるべき原画像の範囲を指定するための領域である。本実施形態においては、利用者は、入力装置３０のマウスを用いてこの領域のチェックボックスを適宜にクリックすることにより、立体化パラメータが適用される対象として、動画像を構成する多数の原画像のうちいずれかひとつの原画像（図３に示す「個別」）、その動画像のひとつのシーンに含まれる含まれる原画像（図３に示す「シーン」）、および動画像のすべての原画像（図３に示す「全編」）のうちいずれかを選択することができる。
【００４３】
また、効果設定領域８３は、原画像の立体化処理において用いられるべき立体化パラメータを利用者が入力するための複数の部分を含んでいる。すなわち、効果設定領域８３のうち部分８３２は奥行深度Ｄｃを入力するための領域であり、部分８３３はオブジェクト深度Ｏｂを入力するための領域である。部分８３２および部分８３３は、各立体化パラメータの数値を段階的に変更するためのコマンドボタン８３ａと、このコマンドボタン８３ａによって決定された数値を表示するとともに利用者が各立体化パラメータの数値を入力装置３０のキーボードから直接に入力するための入力欄８３ｂとを有する。一方、図３に示す部分８３４はステップＳ６５にて用いられる上限値Ｄｕおよび下限値Ｄｌを入力するための領域である。この部分８３４には、上限値Ｄｕおよび下限値Ｄｌを数値として入力するための領域のほか、上述したステップＳ６５において奥行き値の範囲を限定する方法を選択するためのチェックボックスが含まれている。さらに、部分８３５は、ステップＳ６３にて用いられるマトリクス寸法Ｓｍを、そのマトリクス領域の横の長さに相当する画素数と縦の長さに相当する画素数として入力するための領域である。
【００４４】
一方、効果設定領域８３の初期値ボタン８３７は、各立体化パラメータの値を予め記憶装置１３に記憶された初期値に変更することを指示するためのコマンドボタンである。また、効果設定領域８３のうち実行ボタン８３８は、この効果設定領域８３にて指示された立体化パラメータを実際の立体化処理に反映させることを指示するためのコマンドボタンである。さらに、記録ボタン８３９は、この効果設定領域８３にて指示された立体化パラメータを記憶装置１３に記憶させることを指示するためのコマンドボタンである。
【００４５】
次に、本実施形態の動作を説明する。利用者によって入力装置３０に所定の操作がなされて画像処理プログラム１３１の起動指示が与えられると、ＣＰＵ１０は、記憶装置１３に記憶された画像処理プログラム１３１をＲＡＭ１２に読み込んだうえでこれを順次に実行する。図９は、画像処理プログラム１３１が実行されたときの処理の流れを示すフローチャートである。前掲図４を参照して説明した立体化処理は、図９に示したステップＳａ６において実行される。
【００４６】
画像処理プログラム１３１が起動されると、ＣＰＵ１０はまず、図３に示した画像編集ウィンドウ８０を表示装置４０に表示させる（ステップＳａ１）。この後、利用者は、入力装置３０を用いて画像編集ウィンドウ８０のファイルボタン８０１を操作することによって、記憶装置１３に記憶された動画像を選択する。この操作を検知すると、ＣＰＵ１０は、選択された動画像のファイルを記憶装置１３からＲＡＭ１２に読み込んだうえで、これに含まれる複数の原画像を縮小表示領域８１に表示させる。
【００４７】
一方、利用者は、入力装置３０を適宜に操作することによって、立体化処理の対象とすべき１以上の原画像を選択する。具体的には、利用者はまず、入力装置３０のマウスによって、部分８３１に表示されたいずれかのチェックボックスをクリックする。そして、部分８３１のうち「個別」を選択した場合、利用者は、縮小表示領域８１に表示された複数の原画像のいずれかをクリックすることによって、当該原画像を立体化処理の対象として選択することができる。また、部分８３１のうち「シーン」を選択した場合、利用者は、縮小表示領域８１に表示された複数の原画像のいずれかをクリックすることによって、当該原画像を含むシーンを構成する複数の原画像を立体化処理の対象として選択することができる。一方、部分８３１のうち「全編」を選択した場合、利用者は、動画像に含まれるすべての原画像を立体化処理の対象として一括して選択することができる。ＣＰＵ１０は、利用者によるこの操作を検知することにより、立体化処理の対象とすべき１以上の原画像を特定する（ステップＳａ２）。
【００４８】
続いてＣＰＵ１０は、効果設定領域８３に含まれるいずれかの立体化パラメータを指示する操作が利用者によって実行されたか否かを判定する（ステップＳａ３）。この操作を検知すると、ＣＰＵ１０は、入力された立体化パラメータを表示装置４０の効果設定領域８３の各部に表示させる（ステップＳａ４）。また、ステップＳａ３において、図３に示した初期値ボタン８３７が操作されたと判定すると、ＣＰＵ１０は、記憶装置１３に予め記憶された各立体化パラメータの初期値を読み出し、これらの数値を効果設定領域８３の各部に表示させる（ステップＳａ４）。一方、立体化パラメータの指示がなされていない場合、ＣＰＵ１０は、ステップＳａ４を経ることなくステップＳａ５に処理を移行させる。
【００４９】
次いで、ＣＰＵ１０は、効果設定領域８３に含まれる実行ボタン８３８が利用者によって操作されたか否かを判定する（ステップＳａ５）。ここで実行ボタン８３８が操作されたと判定すると、ＣＰＵ１０は、その時点において効果設定領域８３に表示されている立体化パラメータを用いて、図４に示した立体化処理を実行する（ステップＳａ６）。そして、ＣＰＵ１０は、この立体化処理によって得られた立体視画像を画像表示領域８２に表示させる（ステップＳａ７）。利用者は、立体視眼鏡５０を用いて表示装置４０の表示面４０１を視認することにより、自分の指示した立体化パラメータが反映された立体視画像を確認することができる。一方、ステップＳａ５において実行ボタン８３８が操作されていないと判定した場合、ＣＰＵ１０は、ステップＳａ６およびＳａ７を経ることなくステップＳａ８に処理を移行する。
【００５０】
続いて、ＣＰＵ１０は、効果設定領域８３に含まれる記録ボタン８３９が利用者によって操作されたか否かを判定する（ステップＳａ８）。ここで操作がなされていないと判定した場合、ＣＰＵ１０は、ステップＳａ９を経ることなく処理をステップＳａ２に戻す。
【００５１】
これに対し、利用者によって記録ボタン８３９が操作されたと判定した場合、ＣＰＵ１０は、現時点において処理対象として選択されている原画像データと、その時点で効果設定領域８３に指示されている立体化パラメータとを対応付けて記憶装置１３に記憶する（ステップＳａ９）。すなわち、ＣＰＵ１０は、第１に、記憶装置１３に記憶された多数の原画像データのうちステップＳａ２において特定された原画像データを探索し、第２に、図１０に示すように、探索した１以上の原画像データの先頭部分に、その時点における立体化パラメータをヘッダとして付加するのである。なお、ここでは立体化パラメータをヘッダとして付加する場合を想定したが、原画像データの後尾にフッタとして付加する構成としてもよい。この後にＣＰＵ１０は、ステップＳａ２に処理を移行させる。
【００５２】
以上が画像を編集するときの動作である。一方、利用者によって入力装置３０に所定の操作がなされ、既に立体化パラメータが設定された原画像を立体視画像として表示させることが指示されると、ＣＰＵ１０は、記憶装置１３に記憶された原画像データについて、その原画像データに付加された立体化パラメータを用いて立体化処理（図４に示した処理）を順次に施し、この結果として得られた立体視画像を表示装置４０に表示させる。より具体的には、ＣＰＵ１０は、動画像を構成する原画像のいずれかを表示装置４０に表示させるベきタイミングが到来するたびに（すなわちリアルタイムに）その原画像の原画像データを対象とした立体化処理を実行し、これにより得られた立体視画像を表示装置４０に順次に表示させるのである。
【００５３】
このように、本実施形態においては、利用者からの指示に応じた立体化パラメータが原画像データに付加されて記憶装置１３に格納される。したがって、その後に原画像データから立体視画像データを生成するときには、利用者は立体化パラメータを入力する必要はないから、利用者の作業負担を軽減することができる。
【００５４】
また、本実施形態においては、奥行き値を修正するための奥行深度Ｄｃやオブジェクト深度Ｏｂ、奥行き値の上限値Ｄｕおよび下限値Ｄｌなどが利用者によって任意に選択されるから、利用者は所望の立体視画像を得ることができる。例えば、立体視画像の全体の奥行きを奥行深度Ｄｃに応じて変更することができ、最も奥として知覚される位置と最も手前として知覚される位置との隔たり（画像の立体感）をオブジェクト深度Ｏｂに応じて変更することができる。また、上限値Ｄｕおよび下限値Ｄｌを適宜に選択することにより、画像の乱れを抑えつつ自然な立体感を得ることができる。
【００５５】
＜Ｂ：第２実施形態＞
上述した第１実施形態においては、利用者によって選択された立体化パラメータを用いて立体化処理が実行される構成を例示した。これに対し、本実施形態においては、カメラなどの撮像装置から取得した情報に基づいて立体化パラメータが特定されるようになっている。なお、以下では、本実施形態に関わる技術的要素のうち上記第１実施形態と同様の役割を担うものについては共通の符号を付して適宜にその説明を省略する。
【００５６】
図１１は、本実施形態に係る画像処理装置の構成を示すブロック図である。同図に示すように、この装置１００のバス１５にはインタフェース（図示略）を介して撮像装置７０が接続される。撮像装置７０は、静止画像または動画像を撮像するための装置であり、例えばデジタルカメラである。この撮像装置７０は、撮像素子７１と制御部７２と記憶装置７３とを備えている。このうち撮像素子７１は、被写体を撮像してその平面画像を表す原画像データを生成する手段であり、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）である。制御部７２は、撮像素子７１による撮像の条件（以下「撮像条件」という）を利用者からの指示または所定のアルゴリズムに従って決定する手段であり、各種の演算や制御を行なうＣＰＵを含んでいる。この制御部７２によって決定される撮像条件としては、例えば、シャッタースピード、絞りまたは露光など、撮像に供される光量を調整する各種のパラメータがある。また、露光量を増加させる逆光補正など各種の補正処理を行なうか否かについても、制御部７２が撮像条件として決定する。一方、記憶装置７３は、撮像素子７１によって撮像された原画像データを記憶するための装置であり、例えば半導体メモリである。撮像素子７１によって撮像がなされると、これにより得られた原画像データと、その撮像に際して適用された撮像条件とが対応付けられて記憶装置７３に記憶される。
【００５７】
本実施形態においては、画像処理装置１００における立体化処理に用いられる立体化パラメータが、この撮像条件に基づいて特定されるようになっている。具体的には、シャッタースピードや絞りといった露光量に関わる撮像条件に基づいて、立体化処理に際して奥行き値の分布範囲を拡張する処理を実行すべきか否かを表す立体化パラメータ（以下では「拡張処理フラグ」という場合がある）が特定される。さらに、逆光補正の有無などの撮像条件に基づいて、立体化処理に際して画素移動量の大小と奥行き値の大小との関係を反転させるべきか否かを表す立体化パラメータ（以下では「反転処理フラグ」という）が特定される。以下、これらの立体化パラメータを特定する方法について詳述する。
【００５８】
いま、光量が多くて明るい環境のもとで原画像を撮像した場合、この原画像からステップＳ６１の手順を経て得られる奥行き値は、図１２（ａ）に示すように、多くの画素について全体的に大きい数値範囲Ａ（すなわち淡い階調）に偏ることとなる。ここで、撮像時のシャッタースピードの増加や絞りの抑制などによって撮像に供される光量を低減させた場合を想定する。この場合、撮像によって得られた原画像においては、図１２（ｂ）に示すように、多くの画素の奥行き値が中間的な階調の範囲Ｂに分布することとなる。しかしながら、図１２（ａ）に示したように撮像の環境全体が明るいため、この場合にも多くの画素の奥行き値は特定の範囲Ｂ内に偏在することとなる。上記実施形態に示したように立体視画像の奥行き（あるいは奥行きを決定する画素移動量）は奥行き値に基づいて決定されるから、この狭い範囲に偏在する奥行き値をそのまま立体化処理に用いるとすれば、得られた立体視画像は奥行き感に乏しいものとなり得る。
【００５９】
そこで、本実施形態においては、撮像条件に基づいて撮像環境の光量が過大であると判定される場合に、奥行き値の分布を拡張する処理が実行される。すなわち、全階調のうち特定の範囲Ｂに偏在する奥行き値を、図１２（ｃ）に示すように全階調にわたって均等に分布する数値に変更するのである。具体的には、原画像において特定の範囲Ｂに偏在している奥行き値に特定の係数を乗算することによって、当該範囲Ｂにおける最小の奥行き値を「０」に変更し、当該範囲における最大の奥行き値を「２５５」に変更する一方、その間の奥行き値は「０」から「２５５」までの範囲に分布するように変更するのである。ここで、本実施形態においては、図１２（ｃ）に示すように、範囲Ｂに属する奥行き値のうち小さい奥行き値ほど変更後の奥行き値の間隔が小さくなり、範囲Ｂに属する奥行き値のうち大きい奥行き値ほど変更後の奥行き値の間隔が大きくなるように、上記特定の係数が適宜に変更される。なお、ここでは撮像環境が明るい場合を想定したが、これとは逆に撮像環境が暗い場合にも同様の処理が実行される。
【００６０】
そして、本実施形態においては、撮像に供される光量を所定のしきい値よりも減らすように撮像条件が設定されている場合、より具体的にはシャッタースピードが所定のしきい値よりも速い数値に設定され、または絞りが所定のしきい値よりも抑制されている場合に、上述した奥行き値拡張処理が実行されるように立体化パラメータたる拡張処理フラグの値が特定される。そして、この拡張処理フラグに奥行き拡張処理の実行を表す数値がセットされている場合に限って、図４に示したステップＳ６３の直前に奥行き拡張処理が実行されるのである。
【００６１】
また、本実施形態においては、逆光補正の有無に応じて、図４のステップＳ６６における反転処理の要否を表す反転処理フラグの数値が特定される。すなわち、撮像時に逆光補正が行なわれているということは、多くの場合に、暗い被写体（すなわち奥行き値が小さい部分）が手前に位置し、明るい被写体（すなわち奥行き値が大きい部分）が奥に位置していると判定できる。そこで、逆光補正を実行したことが撮像条件に含まれている場合にはステップＳ６６の反転処理が実行されるように反転処理フラグの数値が特定されるのである。
【００６２】
次に、本実施形態の動作を説明する。利用者は、撮像装置７０を用いて所望の被写体を撮像し、この撮像装置７０を画像処理装置１００に接続する。この後、利用者によって入力装置３０に所定の操作がなされて画像処理プログラム１３２の起動指示が与えられると、ＣＰＵ１０は、記憶装置１３に記憶された画像処理プログラム１３２をＲＡＭ１２に読み込んだうえでこれを順次に実行する。図１３は、画像処理プログラム１３２が実行されたときの処理の流れを示すフローチャートである。
【００６３】
同図に示すように、ＣＰＵ１０はまず、記憶装置７３に記憶された原画像データと撮像条件とを撮像装置７０の制御部７２から取得して記憶装置１３に格納する（ステップＳｂ１）。次いで、ＣＰＵ１０は、記憶装置１３に記憶した撮像条件に基づいて立体化パラメータを特定する（ステップＳｂ２）。本実施形態においては、上述したように、シャッタースピードや絞りといった撮像条件に基づいて拡張処理フラグの数値が特定され、逆光補正の有無に基づいて反転処理フラグの数値が特定される。
【００６４】
続いて、ＣＰＵ１０は、記憶装置１３に記憶されている原画像データに対して、ステップＳｂ２において特定された立体化パラメータを付加する（ステップＳｂ３）。この結果、記憶装置１３による記憶内容は図１０に示したものとなる。ただし、撮像装置７０から取得した撮像条件によっては必ずしもすべての立体化パラメータを得ることができない場合もある。この場合には、撮像条件から得られた立体化パラメータとともに、予め用意された立体化パラメータが原画像データに付加される。あるいは、上記第１実施形態と同様に利用者に対して立体化パラメータの入力を促し、この入力に応じて特定された立体化パラメータが原画像データに付加される構成としてもよい。
【００６５】
次に、ＣＰＵ１０は、原画像データに付加された立体化パラメータを用いて立体化処理を実行する（ステップＳｂ４）。この立体化処理の内容は図４を参照して上述したのと同様である。ただし、上述したように、拡張処理フラグの内容によっては、ステップＳ６３の直前に奥行き値拡張処理が実行されることとなる。そして、ＣＰＵ１０は、この立体化処理によって得られた立体視画像を表示装置４０に表示させて（ステップＳｂ５）、図１３に示した処理を終了する。なお、既に立体化パラメータが設定された原画像を立体視画像として表示させるときの動作は上記第１実施形態と同様である。
【００６６】
本実施形態によれば、撮像装置７０による撮像条件に応じて立体化パラメータが特定されるから、利用者が立体化パラメータを入力する作業を軽減することができる。しかも、撮像条件は撮像時における環境（例えば周囲の明るさ）を反映したものであるため、この撮像条件に基づいて決定された立体化パラメータを用いることによって、実際に撮像された被写体により忠実な立体視画像が得られる。
【００６７】
なお、本実施形態においては、撮像装置７０が画像処理装置１００とは別体の装置である場合を想定したが、撮像装置７０が画像処理装置１００と一体に構成されていてもよい。例えば、撮像装置７０が一体に設けられた電子機器（例えば携帯電話機）を画像処理装置１００として用いることもできる。
【００６８】
＜Ｃ：変形例＞
以上に説明した第１および第２の実施形態はあくまでも例示であり、この形態に対しては本発明の趣旨から逸脱しない範囲で様々な変形を加えることができる。具体的な変形の態様としては、例えば以下のようなものが考えられる。
【００６９】
＜Ｃ−１：変形例１＞
上記各実施形態においては、立体化パラメータが原画像データに付加される構成を例示したが、立体化パラメータを記憶する方法はこれに限られない。例えば、図１４に示すように、立体化パラメータを原画像データとは別個のファイルとして記憶するとともに、原画像データと立体化パラメータとの対応関係を表すテーブルを記憶装置１３に記憶させる構成としてもよい。図１４に示すテーブルは、原画像データを識別するための情報と、その原画像データの立体化処理に際して用いられるべき立体化パラメータを識別するための情報とを対応付けるものである。そして、ＣＰＵ１０が、いずれかの原画像データに対して立体化処理を実行するときに、テーブルにおいてその原画像データに対応付けられた立体化パラメータを読み出し、これを立体化処理に際して用いる構成としてもよい。
【００７０】
また、図１５に示すように、立体化パラメータを原画像データとは別個のファイルとして記憶装置１３に記憶させるとともに、このファイルに、各立体化パラメータが適用されるべき原画像データを特定するための情報を含ませる構成としてもよい。このように、本発明においては、立体化パラメータと原画像データとが対応付けられていれば足り、その方法の如何は不問である。
【００７１】
＜Ｃ−２：変形例２＞
利用者に指示される立体化パラメータの種類は上記各実施形態に示したものに限られない。例えば、右目用画像および左目用画像の各々を表示させるべき走査線４０２を奇数番目および偶数番目のいずれとするかを表す情報が立体化パラメータとして記憶装置１３に記憶されるようにしてもよい。右目用画像および左目用画像を表示すべき走査線４０２を切り換えた場合には、右目用画像が利用者の左目によって視認され、左目用画像が利用者の右目によって視認されることとなるから、立体視画像における奥と手前との関係が逆転することとなる。また、図４のステップＳ６２にて用いられるサンプリング領域Ａｓの大きさや位置、あるいは数を指示するパラメータが立体化パラメータとして記憶装置１３に記憶される構成としてもよい。また、上記第２実施形態においては、撮像条件に基づいて拡張処理フラグおよび反転処理フラグが特定される構成を例示したが、奥行深度Ｄｃやオブジェクト深度Ｏｂといったその他の立体化パラメータが撮像条件に基づいて特定される構成としてもよい。
【００７２】
＜Ｃ−３：変形例３＞
上記各実施形態においては、表示装置４０の表示面４０１に偏光フィルムを貼り付けて立体視を実現する場合を例示したが、この立体視を実現するための方法はこれに限られず、公知である各種の方法を採用することができる。例えば、利用者の左目および右目に対して別個の表示面を視認させるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）方式や、表示装置に右目用画像と左目用画像とを交互に表示させる一方、眼鏡の左右のレンズ位置に設けられた液晶パネル（いわゆる液晶シャッタ）を表示の切り替えに同期させて交互に遮光状態または透光状態とする時分割シャッタメガネ方式などを採用することができる。あるいは、液晶パネルとレンチキュラーレンズとを組み合わせて左目用画像の光を左目に、右目用画像の光を右目に導くレンチキュラー方式や、表示装置の表示面上に形成されたスリットによって左目用画像の画素を左目に、右目用画像の画素を右目に視認させる方式など、所定の眼鏡を用いなくても立体視画像を視認できる方法を採用することもできる。要するに、相互に視差を有する２つの画像の一方を利用者の左目に視認させ他方を右目に視認させる構成であれば、その他の構成の如何は不問である。また、立体視を実現する複数の方法のうちいずれかを利用者が選択し得る構成とし、この選択された方法を立体化パラメータとして原画像データに対応付けるようにしてもよい。
【００７３】
＜Ｃ−４：変形例４＞
上記実施形態においては、利用者からの指示または撮像条件に応じて立体化パラメータが特定される構成を例示したが、以下の構成としてもよい。すなわち、各立体化パラメータについて異なる数値が設定された複数の組を予め記憶装置１３に記憶しておく。そして、利用者からの指示または撮像条件に応じていずれかの組が選定されるとともに、この組に含まれる立体化パラメータに基づいて立体化処理が行なわれる構成としてもよい。
【００７４】
＜Ｃ−５：変形例５＞
上記第１実施形態においては、原画像データがビデオテープレコーダ２０から取得される場合を想定したが、記憶装置１３に予め原画像データが記憶されている構成としてもよいし、あるいはインターネットに代表されるネットワークや通信衛星など、情報を提供するための各種の設備から原画像データが取得される構成としてもよい。また、静止画像や動画像を撮像するための撮像装置（例えばデジタルカメラ）や、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ − Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）およびＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）に代表される各種の記録媒体からデータを読み出すディスク駆動装置、あるいはテレビジョン受像機といった各種の機器から原画像データが取得されるようにしてもよい。なお、これらの機器において原画像データがデジタルデータとして保持されている場合には、図１に示したＡ／Ｄ変換器２１は不要である。
【００７５】
また、本発明において立体化処理の対象とされる原画像はカラー画像に限られるものではない。例えば、モノクロ画像や赤外線カメラによって撮像された画像、あるいは人体のＸ線写真（レントゲン写真）として得られた画像を立体化処理の対象とすることもできる。このように、本発明においては、原画像の種類や被写体の内容、および原画像を取得する方法は不問である。
【００７６】
【発明の効果】
以上説明したように、本発明によれば、画像の立体化に関わる各種の条件を指示する利用者の負担を軽減することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】表示装置および立体視眼鏡の構成を示す図である。
【図３】画像編集ウィンドウの内容を示す図である。
【図４】立体化処理の内容を示すフローチャートである。
【図５】奥行き値の修正処理の内容を説明するための図である。
【図６】反転判定処理の内容を説明するための図である。
【図７】平均化処理の内容を説明するための図である。
【図８】範囲限定処理の内容を説明するための図である。
【図９】画像処理プログラムの内容を示すフローチャートである。
【図１０】原画像データと立体化パラメータとが記憶装置に記憶された様子を示す図である。
【図１１】本発明の第２実施形態に係る画像処理装置の構成を示すブロック図である。
【図１２】同実施形態における奥行き値拡張処理について説明するための図である。
【図１３】同実施形態における画像処理プログラムの内容を示すフローチャートである。
【図１４】実施形態の変形例における記憶装置の記憶内容を示す図である。
【図１５】実施形態の変形例における記憶装置の記憶内容を示す図である。
【符号の説明】
１００……画像処理装置、１０……ＣＰＵ、１３……記憶装置、１３１，１３２……画像処理プログラム、４０……表示装置、５０……立体視眼鏡、７０……撮像装置、７１……撮像素子、７２……制御部、７３……記憶装置、８０……画像編集ウィンドウ。
Claims (12)
- 画像を表す原画像データから相互に視差のある右目用画像と左目用画像とを生成する立体化処理を実行する立体化処理手段と、
前記立体化処理に際して用いられる立体化パラメータを利用者からの指示に応じて特定するパラメータ特定手段と、
前記パラメータ特定手段によって特定された立体化パラメータを前記原画像データと対応付けて記憶装置に記憶させる制御手段と
を具備することを特徴とする画像処理装置。 - 前記立体化処理手段は、
各画素ごとに前記原画像データから奥行き値を求める算出手段と、
前記算出手段によって求められた奥行き値を修正する修正手段と、
前記修正手段によって求められた奥行き値に応じた視差を有する前記右目用画像と前記左目用画像とを生成する画像生成手段とを備え、
前記パラメータ特定手段によって特定される立体化パラメータは、前記修正手段による奥行き値の修正内容に関するパラメータを含む
ことを特徴とする請求項１に記載の画像処理装置。 - 前記修正手段は、すべての画素に共通の数値である奥行深度を当該各画素の奥行き値に対して加算する手段を備え、
前記パラメータ特定手段によって特定される立体化パラメータは前記奥行深度を含む
ことを特徴とする請求項２に記載の画像処理装置。 - 前記修正手段は、各画素の奥行き値を、当該画素を含む領域における奥行き値の平均値に更新する手段を備え、
前記パラメータ特定手段によって特定される立体化パラメータは、前記領域の大きさを表す数値を含む
ことを特徴とする請求項２に記載の画像処理装置。 - 前記修正手段は、各画素の奥行き値を複数の離散値に近似させる手段を備え、
前記パラメータ特定手段によって特定される立体化パラメータは、前記各離散値の間隔を表す丸め係数を特定するための数値を含む
ことを特徴とする請求項２に記載の画像処理装置。 - 前記丸め係数を特定するための数値は、前記複数の離散値の段階数であるオブジェクト深度である
ことを特徴とする請求項５に記載の画像処理装置。 - 前記修正手段は、各画素の奥行き値を特定の範囲内の数値に修正する手段を備え、
前記パラメータ特定手段によって特定される立体化パラメータは、前記特定の範囲の上限値および下限値の少なくとも一方を含む
ことを特徴とする請求項２に記載の画像処理装置。 - 前記制御手段は、動画像を構成する複数の画像の各々について原画像データを前記記憶装置に記憶させ、
前記立体化処理手段は、前記記憶装置に記憶された原画像データの各々について、当該原画像データに対応付けられた立体化パラメータを用いた立体化処理をリアルタイムに実行する
ことを特徴とする請求項１に記載の画像処理装置。 - 画像を表す原画像データから相互に視差のある右目用画像と左目用画像とを生成する立体化処理を実行する立体化処理手段と、
被写体を撮像する撮像装置から、撮像された画像を表す原画像データとその画像が撮像されたときの撮像条件とを取得する取得手段と、
前記取得手段によって取得された撮像条件に基づいて、前記立体化処理に際して適用されるべき立体化パラメータを特定するパラメータ特定手段と、
前記パラメータ特定手段によって特定された立体化パラメータを前記取得手段によって取得された原画像データと対応付けて記憶装置に記憶させる制御手段と
を具備することを特徴とする画像処理装置。 - 画像を表す原画像データから相互に視差のある右目用画像と左目用画像とを生成する立体化処理を実行する画像処理装置に対して、前記立体化処理に供されるべき原画像データを提供する撮像装置において、
特定の撮像条件のもとで被写体を撮像する撮像手段と、
前記撮像手段によって撮像された画像を表す原画像データと、その画像が撮像されたときの撮像条件であって当該画像を対象とした前記立体化処理に際して適用されるべき立体化パラメータを特定するための撮像条件とを記憶装置に記憶させる制御手段と
を具備することを特徴とする撮像装置。 - コンピュータを、
画像を表す原画像データから相互に視差のある右目用画像と左目用画像とを生成する立体化処理を実行する立体化処理手段と、
前記立体化処理に際して用いられる立体化パラメータを利用者からの指示に応じて特定するパラメータ特定手段と、
前記パラメータ特定手段によって特定された立体化パラメータを前記原画像データと対応付けて記憶装置に記憶させる制御手段
として機能させるためのプログラム。 - コンピュータを、
画像を表す原画像データから相互に視差のある右目用画像と左目用画像とを生成する立体化処理を実行する立体化処理手段と、
被写体を撮像する撮像装置から、撮像された画像を表す原画像データとその画像が撮像されたときの撮像条件とを取得する取得手段と、
前記取得手段によって取得された撮像条件に基づいて、前記立体化処理に際して適用されるべき立体化パラメータを特定するパラメータ特定手段と、
前記パラメータ特定手段によって特定された立体化パラメータを前記取得手段によって取得された原画像データと対応付けて記憶装置に記憶させる制御手段
として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003038665A JP4272901B2 (ja) | 2003-02-17 | 2003-02-17 | 画像処理装置、撮像装置およびプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003038665A JP4272901B2 (ja) | 2003-02-17 | 2003-02-17 | 画像処理装置、撮像装置およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004248213A true JP2004248213A (ja) | 2004-09-02 |
| JP4272901B2 JP4272901B2 (ja) | 2009-06-03 |
Family
ID=33023126
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003038665A Expired - Lifetime JP4272901B2 (ja) | 2003-02-17 | 2003-02-17 | 画像処理装置、撮像装置およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4272901B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006121050A1 (ja) * | 2005-05-10 | 2006-11-16 | Kazunari Era | 立体視画像生成装置およびプログラム |
| JP2010079807A (ja) * | 2008-09-29 | 2010-04-08 | Casio Computer Co Ltd | 画像生成装置、及びプログラム |
| JP2010529521A (ja) * | 2007-05-11 | 2010-08-26 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 深度関連情報を処理する方法、装置及びシステム |
| JP2011176823A (ja) * | 2010-01-28 | 2011-09-08 | Toshiba Corp | 画像処理装置、立体表示装置及び画像処理方法 |
| JP2012506650A (ja) * | 2008-10-21 | 2012-03-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 入力された三次元ビデオ信号を処理するための方法及びシステム |
| JP2013005376A (ja) * | 2011-06-21 | 2013-01-07 | Office Sansara Co Ltd | 画像処理プログラム、画像処理装置、及び画像処理方法 |
| JP2013517657A (ja) * | 2010-01-14 | 2013-05-16 | ヒューマンアイズ テクノロジーズ リミテッド | 三次元表示においてオブジェクトの深さ値を調整するための方法及びシステム |
| JP2013149300A (ja) * | 2013-05-09 | 2013-08-01 | Casio Comput Co Ltd | 距離情報補正装置、画像生成装置、距離情報補正方法、及び、プログラム |
| JP2015033047A (ja) * | 2013-08-05 | 2015-02-16 | Kddi株式会社 | 複数カメラを用いた奥行き推定装置 |
-
2003
- 2003-02-17 JP JP2003038665A patent/JP4272901B2/ja not_active Expired - Lifetime
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8325219B2 (en) | 2005-05-10 | 2012-12-04 | Kazunari Era | Stereoscopic image generation device and program |
| EP1883250A1 (en) * | 2005-05-10 | 2008-01-30 | Kazunari Era | Stereographic view image generation device and program |
| AU2006244955B2 (en) * | 2005-05-10 | 2010-02-11 | Mercury Systems Co., Ltd | Stereographic view image generation device and program |
| EP1883250A4 (en) * | 2005-05-10 | 2014-04-23 | Kazunari Era | DEVICE AND PROGRAM FOR GENERATING A STEREO VISION |
| WO2006121050A1 (ja) * | 2005-05-10 | 2006-11-16 | Kazunari Era | 立体視画像生成装置およびプログラム |
| KR101265567B1 (ko) | 2005-05-10 | 2013-05-20 | 가즈나리 에라 | 입체시 화상 생성 장치 및 프로그램 |
| CN101208960B (zh) * | 2005-05-10 | 2011-09-14 | 江良一成 | 立体图像生成设备和方法 |
| JP2010529521A (ja) * | 2007-05-11 | 2010-08-26 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 深度関連情報を処理する方法、装置及びシステム |
| KR101452172B1 (ko) | 2007-05-11 | 2014-10-21 | 코닌클리케 필립스 엔.브이. | 깊이―관련 정보를 처리하기 위한 방법, 장치 및 시스템 |
| US8269819B2 (en) | 2008-09-29 | 2012-09-18 | Casio Computer Co., Ltd. | Image generating apparatus for generating three-dimensional image having high visibility |
| JP2010079807A (ja) * | 2008-09-29 | 2010-04-08 | Casio Computer Co Ltd | 画像生成装置、及びプログラム |
| JP2012506650A (ja) * | 2008-10-21 | 2012-03-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 入力された三次元ビデオ信号を処理するための方法及びシステム |
| JP2013517657A (ja) * | 2010-01-14 | 2013-05-16 | ヒューマンアイズ テクノロジーズ リミテッド | 三次元表示においてオブジェクトの深さ値を調整するための方法及びシステム |
| US9438759B2 (en) | 2010-01-14 | 2016-09-06 | Humaneyes Technologies Ltd. | Method and system for adjusting depth values of objects in a three dimensional (3D) display |
| JP2011176823A (ja) * | 2010-01-28 | 2011-09-08 | Toshiba Corp | 画像処理装置、立体表示装置及び画像処理方法 |
| JP2013005376A (ja) * | 2011-06-21 | 2013-01-07 | Office Sansara Co Ltd | 画像処理プログラム、画像処理装置、及び画像処理方法 |
| JP2013149300A (ja) * | 2013-05-09 | 2013-08-01 | Casio Comput Co Ltd | 距離情報補正装置、画像生成装置、距離情報補正方法、及び、プログラム |
| JP2015033047A (ja) * | 2013-08-05 | 2015-02-16 | Kddi株式会社 | 複数カメラを用いた奥行き推定装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4272901B2 (ja) | 2009-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7643672B2 (en) | Image processing apparatus, image pickup device and program therefor | |
| JP4304623B2 (ja) | 撮像装置及び撮像装置における撮像結果の処理方法 | |
| US8577127B2 (en) | Method and apparatus for processing three-dimensional images | |
| US8558911B2 (en) | Display control device | |
| KR101265567B1 (ko) | 입체시 화상 생성 장치 및 프로그램 | |
| JP5517746B2 (ja) | 画像処理装置およびその方法 | |
| JP5359856B2 (ja) | 画像合成装置、画像合成方法及びプログラム | |
| JP2013005259A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| JP2009053748A (ja) | 画像処理装置、画像処理プログラムおよびカメラ | |
| JP4752941B2 (ja) | 画像合成装置及びプログラム | |
| JP2012138787A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| US20120019625A1 (en) | Parallax image generation apparatus and method | |
| JP2008283291A (ja) | 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム | |
| TWI592903B (zh) | Image processing device, image processing method and program | |
| US7095902B2 (en) | Image processing apparatus, image processing method, and program product | |
| JP4272901B2 (ja) | 画像処理装置、撮像装置およびプログラム | |
| KR20090022710A (ko) | 디지털 촬영장치, 그 제어방법 및 이를 실행시키기 위한프로그램을 저장한 기록매체 | |
| KR20140107469A (ko) | 화상 처리장치, 화상 처리 시스템, 화상 처리방법 및 기억매체 | |
| US6985637B1 (en) | Method and apparatus of enhancing a digital image using multiple selected digital images | |
| US8711239B2 (en) | Program recording medium, image processing apparatus, imaging apparatus, and image processing method | |
| US9626932B2 (en) | Image processing apparatus, image processing method and recording medium recording program for correcting image in predetermined area | |
| JP2004287794A (ja) | 画像処理装置 | |
| JP5070921B2 (ja) | 未現像画像データの現像処理装置、現像処理方法、および現像処理のためのコンピュータプログラム | |
| JP4129786B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| US11614627B2 (en) | Image processing apparatus, head-mounted display, and image displaying method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060213 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080619 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090113 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090203 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090302 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4272901 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130306 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140306 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |