JP2021118479A - 画像処理装置およびヘッドアップディスプレイ - Google Patents

Abstract

【課題】 立体画像を生成する際の処理負荷を軽減し得る画像処理装置および当該立体画像を表示し得るヘッドアップディスプレイを提供すること。【解決手段】 実施形態に係る画像処理装置は、対象画像を取得する取得部と、取得された対象画像に対応する複数の映像信号が、水平方向に並ぶ複数の画素のうち、所定個数おきの画素にそれぞれ書き込まれるように並び替えて、立体画像を生成する生成部と、生成された立体画像を表示装置に出力する出力部と、を備える。【選択図】 図５

Description

本発明の実施形態は、画像処理装置およびヘッドアップディスプレイに関する。

近年、観察者が裸眼で立体画像（３次元画像）を視認することができる表示装置が普及しつつある。このような表示装置に表示される立体画像は、例えば、視差数と同数の画像を合成することにより生成されている。あるいは、画像からデプスマップを取得することにより生成されている。

特開平１０−２７１５３５号公報 特開平０７−１８２５３３号公報

しかしながら、上記した方法では、複数の画像を合成する処理等、複雑な処理を実行する必要がある。このため、立体画像が生成される度に、当該立体画像を生成する装置に大きな処理負荷がかかるという問題がある。

そこで、本開示は、立体画像を生成する際の処理負荷を軽減し得る画像処理装置および当該立体画像を表示し得るヘッドアップディスプレイを提供することを目的の１つとする。

本実施形態によれば、
対象画像を取得する取得部と、前記取得された対象画像に対応する複数の映像信号が、水平方向に並ぶ複数の画素のうち、所定個数おきの画素にそれぞれ書き込まれるように並び替えて、立体画像を生成する生成部と、前記生成された立体画像を表示装置に出力する出力部と、を具備する、
画像処理装置が提供される。

本実施形態によれば、
画像処理装置と、前記画像処理装置から出力される立体画像を表示出力する表示装置と、を具備する、
ヘッドアップディスプレイが提供される。

図１は、実施形態に係る表示装置を用いたヘッドアップディスプレイを概略的に示す図である。 図２は、同実施形態に係る画像処理装置の機能構成例を示すブロック図である。 図３は、同実施形態に係る画像処理装置により実行される並び替え処理を模式的に説明するための図である。 図４は、同実施形態に係る画像処理装置により実行される並び替え処理を模式的に説明するための別の図である。 図５は、同実施形態に係る画像処理装置により実行される並び替え処理を具体的に説明するための図である。 図６は、同実施形態に係る画像処理装置により実行される立体画像生成処理の手順の一例を示すフローチャートである。 図７は、同実施形態に係る画像処理装置により実行される立体画像生成処理の変形例を説明するための図である。 図８は、同実施形態に係る画像処理装置により実行される立体画像生成処理の変形例を説明するための別の図である。

いくつかの実施形態につき、図面を参照しながら説明する。
なお、開示はあくまで一例に過ぎず、当業者において、発明の趣旨を保っての適宜変更について容易に想到し得るものについては、当然に本発明の範囲に含有されるものである。また、図面は、説明をより明確にするため、実施の態様に比べて模式的に表される場合があるが、あくまで一例であって、本発明の解釈を限定するものではない。また、本明細書と各図において、既出の図に関して前述したものと同一または類似した機能を発揮する構成要素には同一の参照符号を付し、重複する詳細な説明を省略することがある。

図１は、実施形態に係る画像処理装置を用いたヘッドアップディスプレイ（ＨＵＤ）を概略的に示す模式図である。ＨＵＤは、画像を投影するための表示装置として、液晶表示装置１０を備えている。また、ＨＵＤは、複数の凹面ミラー、例えば、２つの凹面ミラーＭ１，Ｍ２を有している。さらに、ＨＵＤは、液晶表示装置１０と電気的に接続される画像処理装置２０を備えている。なお、画像処理装置２０は、液晶表示装置１０と通信可能に接続されていてもよい。

画像処理装置２０は立体画像を生成し、生成した立体画像を液晶表示装置１０に出力する。液晶表示装置１０は、マトリクス状に配列された多数の画素ＰＸを備えている。液晶表示装置１０は、画像処理装置２０から出力された立体画像を取得すると、取得した立体画像に対応する映像信号Ｖを画素ＰＸに書き込む。これによれば、取得した立体画像が投影画像として表示出力される。液晶表示装置１０から出力された投影画像は、凹面ミラーＭ１，Ｍ２により反射・集光され、投影面として、例えば、自動車のフロントガラスＦＧの内面に投影される。投影された画像は、フロントガラスＦＧで観察者（ドライバー）側に反射され、フロントガラスＦＧの数メートル先に虚像ＶＩを形成する。なお、本明細書中において立体画像とは、画像全体に奥行き感あるいは手前感を持たせた画像を意味するものとする。

なお、ＨＵＤの一部を構成するミラーは、凹面ミラーに限らず、ハーフミラー、フレネルミラー等の他の光学部材を選択可能である。また、直接、フロントガラスＦＧに投影する構成に限らず、観察者の前方に透明な反射板（投影面）を設置し、この反射板に画像を投影する構成としてもよい。

図１に示すＨＵＤにおいては、液晶表示装置１０の表示面に、例えば、パララックスバリアやレンチキュラーレンズが設けられている。
パララックスバリアは、透過する光線を制限するものであり、光制御部として機能する。パララックスバリアには、複数の細かいスリットが設けられる。スリットは、液晶表示装置１０の表示面の縦方向から所定角度だけ傾けた方向に沿って設けられる。
レンチキュラーレンズは、透過する光線の出射方向を制御するものであり、パララックスバリア同様、光制御部として機能する。レンチキュラーレンズは、液晶表示装置１０の表示面の縦方向に延びる半円筒型のレンズである。液晶表示装置１０の表示面には、複数のレンチキュラーレンズが表示面の横方向に沿って並ぶように設置される。
このようなパララックスバリアやレンチキュラーレンズが設けられることで、観察者（ドライバー）に対して立体画像を認識させることができる。

図２は、本実施形態に係る画像処理装置２０の機能構成例を示すブロック図である。図２に示すように、画像処理装置２０は、対象画像取得部２１、立体画像生成部２２、立体画像出力部２３、等を備えている。

対象画像取得部２１は、立体画像の元となる対象画像（２次元画像）を取得する。対象画像としては、カーナビゲーション画像（例えば、右折または左折する曲がり角を示唆する画像）や、スピードメーター、タコメーター、ウォーニングランプ等の各種メーター類に相当するメーター画像、等を一例として挙げることができる。取得された対象画像は、立体画像生成部２２に出力される。

立体画像生成部２２は、対象画像取得部２１により取得された１枚の対象画像から立体画像を生成する。なお、立体画像生成部２２によって実行される立体画像生成処理については後述するため、ここではその詳しい説明を省略する。

立体画像出力部２３は、立体画像生成部２２により生成された立体画像を液晶表示装置１０に出力する。液晶表示装置１０は、画像処理装置２０の立体画像出力部２３より出力された立体画像を投影画像として表示出力する。これにより、フロントガラスＦＧの数メートル先には虚像ＶＩが形成され、観察者（ドライバー）は、視線を車両の走行方向から移動させなくても、カーナビゲーション画像やメーター画像を確認することが可能となる。

ここで、図３および図４を参照して、立体画像生成部２２により実行される並び替え処理について模式的に説明する。
図３では、図３（ａ）に示すように、対象画像が、２個の画素ＰＸに対して、映像信号Ｖ０，Ｖ１を書き込むことにより表示され得る画像である場合を想定している。このような場合において、２視差に対応する立体画像を観察者の眼から所定の距離だけ離れた位置に表示させたい旨の設定がなされている場合、立体画像生成部２２は、図３（ｂ）に示すように、映像信号Ｖ０，Ｖ１が２個飛びで画素ＰＸに書き込まれるように、映像信号Ｖ０，Ｖ１を並び替えて、立体画像を生成する。

なお、映像信号Ｖ０，Ｖ１がいくつ飛びで画素ＰＸに書き込まれるかは、観察者の眼からどれだけ離れた位置に立体画像を表示させたいかに応じて決定され、観察者の眼から立体画像までの距離は、観察者により任意に設定することが可能であるものとする。以下では、観察者の眼から立体画像までの距離が観察者によって設定されることで決定される値（つまり、映像信号Ｖがいくつ飛びで画素ＰＸに書き込まれるか）を、設定値ｎと称して説明する。
また、何視差に対応する立体画像を表示させたいかも（つまり、視差数も）、観察者により任意に設定することが可能であるものとする。

図４では、図４（ａ）に示すように、対象画像が、５個の画素ＰＸに対して、映像信号Ｖ０〜Ｖ４を書き込むことにより表示され得る画像である場合を想定している。このような場合において、５視差に対応する立体画像を観察者の眼から所定の距離（ここでは、上記した設定値ｎが１となる距離）だけ離れた位置に表示させたい旨の設定がなされている場合、立体画像生成部２２は、図４（ｂ）に示すように、映像信号Ｖ０〜Ｖ４が１個飛びで画素ＰＸに書き込まれるように、映像信号Ｖ０〜Ｖ４を並び替えて、立体画像を生成する。

ここで、図５を参照して、立体画像生成部２２により実行される並び替え処理についてより具体的に説明する。なお、図５では、図５（ａ）に示すように、対象画像が、３０個の画素ＰＸ０〜ＰＸ２９に対して、映像信号Ｖ０〜Ｖ２９を書き込むことにより表示され得る画像である場合を想定している。また、図５では、５視差に対応する立体画像を観察者の眼から所定の距離だけ離れた位置に表示させたい場合であって、当該距離に応じて決定される設定値ｎが１である場合を想定している。

この場合、５視差に対応する立体画像であって、上記した設定値ｎが１であるので、映像信号Ｖ０〜Ｖ４，Ｖ５〜Ｖ９，Ｖ１０〜Ｖ１４，Ｖ１５〜Ｖ１９，Ｖ２０〜Ｖ２４，Ｖ２５〜Ｖ２９は、それぞれ１個飛びで画素ＰＸに書き込まれるように並び替えられる。なお、映像信号Ｖ０〜Ｖ２９のうちのいずれの映像信号Ｖも書き込むことができない画素ＰＸが存在する場合、立体画像生成部２２は、当該画素ＰＸに対して黒色を表示するための映像信号ＶＢ（図５（ｂ）に示す映像信号ＶＢ１〜ＶＢ４）を割り当てる。

これによれば、図５（ｂ）に示すように、「映像信号Ｖ０、映像信号ＶＢ１、映像信号Ｖ１、映像信号ＶＢ２、映像信号Ｖ２、映像信号Ｖ５、映像信号Ｖ３、映像信号Ｖ６、映像信号Ｖ４、映像信号Ｖ７、・・・」の順に映像信号Ｖが並んでいる立体画像が生成される。

ここで、例えば映像信号Ｖ０に着目すると、映像信号Ｖ０は、対象画像を表示するにあたっては画素ＰＸ０に書き込まれるが、上記した並び替えの結果、立体画像を表示するにあたっては画素ＰＸ０から水平方向に２画素だけずれた（シフトした）画素ＰＸａに書き込まれる。つまり、映像信号Ｖ０が書き込まれる画素ＰＸのずらし量は２画素となる。同様に、映像信号Ｖ１に着目する。映像信号Ｖ１は、対象画像を表示するにあたっては画素ＰＸ１に書き込まれるが、上記した並び替えの結果、立体画像を表示するにあたっては画素ＰＸ０から水平方向に１画素だけずれた画素ＰＸ０に書き込まれる。つまり、映像信号Ｖ１が書き込まれる画素ＰＸのずらし量は１画素となる。さらに、映像信号Ｖ２に着目すると、映像信号Ｖ２は、対象画像を表示する場合であっても、立体画像を表示する場合であっても画素ＰＸ２に書き込まれる。つまり、映像信号Ｖ２が書き込まれる画素ＰＸのずらし量は０となる。

このように、映像信号Ｖが書き込まれる画素ＰＸのずらし量（換言すると、映像信号Ｖのずらし量）は、対象画像を表示する場合に映像信号Ｖが書き込まれる画素の位置（つまり、座標）と、立体画像が何視差に対応する画像であるか（つまり、視差数）と、上記した設定値ｎとに基づいて決定される。

以上説明した並び替え処理が実行されることにより生成される立体画像の解像度は、対象画像に対応する映像信号Ｖをｎ個飛びの画素ＰＸに割り当てる関係上、対象画像の解像度に比べて、「ｎ×（視差数−１）」だけ大きくなる。例えば図５の場合、対象画像の解像度が３０画素であるのに対し、立体画像の解像度は３４画素であり、立体画像の解像度は対象画像の解像度に比べて４画素（＝「１×（５−１）」）だけ大きくなっている。なお、この４画素は、黒色を表示するための映像信号ＶＢ（図５の場合、映像信号ＶＢ１〜ＶＢ４）が書き込まれる画素の数に相当する。
なお、図５に示す並び替え処理は、画素行単位で実行される。

図６は、立体画像生成部２２によって実行される立体画像生成処理の手順の一例を示すフローチャートである。
まず、立体画像生成部２２は、対象画像取得部２１から出力された対象画像を取得する（ステップＳ１）。続いて、立体画像生成部２２は、取得された対象画像に対応する映像信号Ｖに対して上記した並び替え処理を実行し、立体画像を生成する（ステップＳ２）。しかる後、立体画像生成部２２は、生成された立体画像を立体画像出力部２３に出力し（ステップＳ３）、一連の立体画像生成処理を終了させる。

以上説明したように、本実施形態に係る立体画像生成処理においては、１枚の対象画像から立体画像を生成することが可能であり、視差数と同数の画像を合成したり、デプスマップを取得したりする必要がないため、立体画像を生成する際に装置にかかる処理負荷を大幅に軽減することが可能である。

また、本実施形態に係る立体画像生成処理においては、任意に設定・変更された視差数に対応した立体画像を生成することが可能であるため、液晶表示装置１０の表示面に既に設置されているパララックスバリアやレンチキュラーレンズを変更する必要がないという利点を得ることができる。換言すれば、液晶表示装置１０の表示面にパララックスバリアやレンチキュラーレンズが既に設置されている場合であっても、当該パララックスバリアやレンチキュラーレンズが対応可能である視差数に応じた立体画像を生成することが可能であるため、画像処理装置２０の設置に伴い、新たなパララックスバリアやレンチキュラーレンズを設置する必要がないという利点を得ることが可能である。

なお、上記した実施形態においては、３次元表示される画像全体が同じ奥行き感をもって観察者により認識されるような立体画像が生成される場合について説明した。しかしながら、立体画像生成部２２は、上記した並び替え処理を画素行単位で実行するため、画素行毎に異なる奥行き感をもって認識されるような立体画像を生成することも可能である。例えば、図７に示すように、画像の上半分を下半分よりも奥行き感をもって観察者に認識させるような立体画像を生成することも可能である。

この場合、立体画像生成部２２は、液晶表示装置１０の上半分の画素行に書き込まれる映像信号Ｖの並び替え処理に適用される設定値ｎを、下半分の画素行に書き込まれる映像信号Ｖの並び替え処理に適用される設定値ｎよりも大きくすることで、画像の上半分を下半分よりも奥行き感をもって観察者に認識させるような立体画像を生成する。

図８は、５視差に対応する立体画像を生成するために実行される並び替え処理であって、画像の上半分を下半分よりも奥行き感をもって観察者に認識させることが可能な立体画像を生成するための並び替え処理について説明するための図である。
この場合、立体画像生成部２２は、液晶表示装置１０の上半分の画素行に書き込まれる映像信号Ｖの並び替え処理に適用される設定値ｎを２にする。これによれば、図８（ａ）に示すように、映像信号Ｖ０〜Ｖ４，Ｖ５〜Ｖ９，Ｖ１０〜Ｖ１４，Ｖ１５〜Ｖ１９，Ｖ２０〜Ｖ２４，Ｖ２５〜Ｖ２９は、それぞれ２個飛びで画素ＰＸに書き込まれるように並び替えられる。なお、映像信号Ｖ０〜Ｖ２９のうちのいずれの映像信号Ｖも書き込むことができない画素ＰＸには、黒色を表示するための映像信号ＶＢ（図８（ａ）に示す映像信号ＶＢ１〜ＶＢ８）が割り当てられる。

また、立体画像生成部２２は、液晶表示装置１０の下半分の画素行に書き込まれる映像信号Ｖの並び替え処理に適用される設定値ｎを１にする。これによれば、図８（ｂ）に示すように、映像信号Ｖ０〜Ｖ４，Ｖ５〜Ｖ９，Ｖ１０〜Ｖ１４，Ｖ１５〜Ｖ１９，Ｖ２０〜Ｖ２４，Ｖ２５〜Ｖ２９は、それぞれ１個飛びで画素ＰＸに書き込まれるように並び替えられる。この場合においても、映像信号Ｖ０〜Ｖ２９のうちのいずれの映像信号Ｖも書き込むことができない画素ＰＸには、黒色を表示するための映像信号ＶＢ（図８（ｂ）に示す映像信号ＶＢ３〜ＶＢ６）が割り当てられる。

なお、画素行毎に異なる奥行き感をもたせる場合、立体画像生成部２２は、最も奥行き感をもたせる画素行を基準にして、立体画像の解像度を決定する。例えば、図７および図８の場合、立体画像の解像度は、液晶表示装置１０の上半分の画素行に書き込まれる映像信号Ｖの数（換言すると、映像信号Ｖが書き込まれる画素ＰＸの数）を基準にして決定される。このため、立体画像生成部２２は、液晶表示装置１０の下半分の画素行に書き込まれる映像信号Ｖの数を、液晶表示装置１０の上半分の画素行に書き込まれる映像信号Ｖの数と同じにするために、当該下半分の画素行の両端部に、黒色を表示するための映像信号ＶＢ（図８（ｂ）に示す映像信号ＶＢ１，ＶＢ２，ＶＢ７，ＶＢ８）をさらに割り当てる。これによれば、液晶表示装置１０の下半分に表示される立体画像の解像度を、液晶表示装置１０の上半分に表示される立体画像の解像度と同じにすることが可能である。

以上説明した並び替え処理を含む立体画像生成処理によれば、画素行毎に異なる奥行き感（または手前感）をもって認識されるような立体画像を生成することが可能である。

また、上記した実施形態においては、液晶表示装置１０の表示面全面に、パララックスバリアやレンチキュラーレンズが配置されている場合について説明した。しかしながら、パララックスバリアやレンチキュラーレンズは、液晶表示装置１０の表示面の一部にのみ配置されるとしてもよい。

この場合、立体画像生成部２２は、パララックスバリアやレンチキュラーレンズが配置されている部分に位置する画素ＰＸに書き込まれる映像信号Ｖのみを対象にして、上記した並び替え処理を実行すればよい。これによれば、観察者は、パララックスバリアやレンチキュラーレンズが配置されている部分に位置する画素ＰＸに書き込まれる映像信号Ｖに対応する立体画像（３次元画像）を認識すると共に、パララックスバリアやレンチキュラーレンズが配置されていない部分に位置する画素ＰＸに書き込まれる映像信号Ｖに対応する２次元画像を認識することが可能となる。

以上説明した実施形態によれば、画像処理装置２０は、対象画像を取得する対象画像取得部２１と、取得された対象画像に対応する複数の映像信号Ｖが、水平方向に並ぶ複数の画素ＰＸのうち、ｎ個飛びの画素ＰＸにそれぞれ書き込まれるように並び替えて、立体画像を生成する立体画像生成部２２と、生成された立体画像を液晶表示装置１０に出力する立体画像出力部２３と、を備えており、１枚の対象画像から立体画像を生成することが可能であるため、立体画像を生成する際の処理負荷を軽減することが可能である。
また、画像処理装置２０と、画像処理装置２０から出力される立体画像を表示出力する液晶表示装置１０と、を備えたヘッドアップディスプレイＨＵＤを提供することが可能である。

本発明の思想の範疇において、当業者であれば、各種の変形例に想到し得るものであり、それら変形例についても本発明の範囲に属するものと解される。例えば、上述の各実施形態に対して、当業者が適宜、構成要素の追加、削除、若しくは設計変更を行ったもの、または、工程の追加、省略若しくは条件変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。

また、上述の各実施形態において述べた態様によりもたらされる他の作用効果について、本明細書の記載から明らかなもの、または当業者において適宜想到し得るものについては、当然に本発明によりもたらされるものと解される。

１０…液晶表示装置、２０…画像処理装置、ＰＸ…画素、Ｍ１，Ｍ２…凹面ミラー、ＦＧ…フロントガラス、ＶＩ…虚像、２１…対象画像取得部、２２…立体画像生成部、２３…立体画像出力部。

Claims (7)

1. 対象画像を取得する取得部と、
   前記取得された対象画像に対応する複数の映像信号が、水平方向に並ぶ複数の画素のうち、所定個数おきの画素にそれぞれ書き込まれるように並び替えて、立体画像を生成する生成部と、
   前記生成された立体画像を表示装置に出力する出力部と、
   を具備する、画像処理装置。
2. 前記生成部は、
   前記複数の映像信号が、前記所定個数おきの画素であって、視差数と同数の画素にそれぞれ書き込まれるように並び替えて、前記立体画像を生成する、
   請求項１に記載の画像処理装置。
3. 前記所定個数は、
   前記立体画像が表示出力された際に形成される虚像の位置から、観察者により当該立体画像が認識される位置までの距離に基づいて決定される、
   請求項１または請求項２に記載の画像処理装置。
4. 前記立体画像の解像度は、
   前記所定個数がｎ個である場合、前記対象画像の解像度に比べて、ｎ×（視差数−１）だけ大きい、
   請求項３に記載の画像処理装置。
5. 前記生成部は、
   前記複数の映像信号のうちのいずれの映像信号も書き込むことができない画素に対して黒色を表示するための映像信号を割り当てる、
   請求項４に記載の画像処理装置。
6. 前記黒色を表示するための映像信号は、
   前記水平方向に並ぶ複数の画素うちの両端部付近の画素に割り当てられる、
   請求項５に記載の画像処理装置。
7. 請求項１〜請求項６のいずれか１項に記載の画像処理装置と、
   前記画像処理装置から出力される前記立体画像を表示出力する表示装置と、
   を具備する、ヘッドアップディスプレイ。

Images