JP2019062532A - 映像レンダリング方法及び装置 - Google Patents

Abstract

【課題】 映像レンダリング方法及び装置を提供する。【解決手段】映像レンダリング装置は、２Ｄ映像が出力される２Ｄディスプレイ領域と３Ｄ映像が出力される３Ｄディスプレイ領域のうち現在ピクセルがいずれのディスプレイ領域に含まれるかを判断し、現在ピクセルが２Ｄディスプレイ領域に含まれる場合、現在ピクセルの位置で２Ｄレンダリングを行い、現在ピクセルが３Ｄディスプレイ領域に含まれる場合、現在ピクセルの位置で３Ｄレンダリングを行う。【選択図】 図２

Description

本発明の説明は映像レンダリング方法及び装置に関する。

視聴者が３Ｄ（ｄｉｍｅｎｓｉｏｎａｌ）映像の立体感を認知するためには、視聴者の両眼に見える映像が異なっていなければならない。視聴者の両眼に互いに異なる映像を見せるための方法に基づいて、偏光を用いた分割、時分割、原色の波長を互いに相違にした波長分割などにより所望する映像をフィルタリングするメガネ式（ｓｔｅｒｅｏｓｃｏｐｉｃ）方式、パララックスバリア（ｐａｒａｌｌａｘ ｂａｒｒｉｅｒ）、レンチキュラレンズ（ｌｅｎｔｉｃｕｌａｒ ｌｅｎｓ）、又は、方向性バックライトユニットなどの３Ｄ光学素子を用いて映像を空間の特定視点ごとに見えるようにする裸眼式（ａｕｔｏｓｔｅｒｅｏｓｃｏｐｉｃ）等の方式がある。

本発明は、２Ｄディスプレイ領域及び３Ｄディスプレイ領域を含むディスプレイ領域によってリアリティ及び立体感の重要なコンテンツは３Ｄ映像として提供し、意味の伝達及び正確さが重要なコンテンツは２Ｄ映像として提供する映像レンダリング方法及び装置を提供する。

一実施形態に係る映像レンダリング装置は、２Ｄ映像が出力される２Ｄディスプレイ領域と３Ｄ映像が出力される３Ｄディスプレイ領域のうち、現在ピクセルがいずれのディスプレイ領域に含まれるかを判断するステップと、前記現在ピクセルが前記２Ｄディスプレイ領域に含まれる場合、前記現在ピクセルの位置で２Ｄレンダリングを行うステップと、前記現在ピクセルが前記３Ｄディスプレイ領域に含まれる場合、前記現在ピクセルの位置で３Ｄレンダリングを行うステップとを含む。

前記２Ｄディスプレイ領域と前記３Ｄディスプレイ領域は１つのスクリーンに含まれ得る。

前記２Ｄディスプレイ領域は前記３Ｄディスプレイ領域の周辺に位置し得る。

前記 映像レンダリング装置は、前記全体ピクセルそれぞれに対して前記２Ｄレンダリング又は前記３Ｄレンダリングを行って前記２Ｄ映像及び前記３Ｄ映像が混合した結果映像を生成するステップをさらに含み得る。

前記２Ｄディスプレイ領域は、テキスト及び案内表示のうち少なくとも１つを表示し得る。

前記２Ｄディスプレイ領域は、車両の運行情報を提供するためのテキスト及び案内表示のうち少なくとも１つを表示し得る。

前記３Ｄディスプレイ領域は３Ｄオブジェクトの映像を表示し得る。

前記３Ｄディスプレイ領域は、車両の走行経路をガイドするための３Ｄオブジェクトの映像を表示し得る。

前記３Ｄディスプレイ領域において、パララックスバリア及びレンチキュラレンズのうち少なくとも１つを用いて前記３Ｄオブジェクトの映像を表示するための複数の視域が生成され得る。

前記ディスプレイ装置は、ヘッドアップディスプレイ（ＨＵＤ）装置であり得る。

コンピュータで読み出し可能な記録媒体は、前記方法をコンピュータで実行するためのプログラムを記録し得る。

一実施形態に係る映像レンダリング装置は、少なくとも１つのプロセッサと、２Ｄ映像が出力される２Ｄディスプレイ領域と３Ｄ映像が出力される３Ｄディスプレイ領域を含むディスプレイパネルと、を含み、前記プロセッサは、前記ディスプレイパネルを介して出力されるピクセルそれぞれに対して２Ｄレンダリング又は３Ｄレンダリングを行うことによって、前記２Ｄ映像及び前記３Ｄ映像が混合した結果映像を生成し、前記ディスプレイパネルは前記結果映像を出力する。

一実施形態に係る映像レンダリング方法は、ディスプレイ装置のスクリーンに表示される複合映像をレンダリングする映像レンダリング方法において、前記スクリーンは、複数の第１ピクセルを含む２Ｄディスプレイ領域及び複数の第２ピクセルを含む３Ｄディスプレイ領域に分割され、前記複数の第１ピクセルそれぞれに対して２Ｄレンダリングを行うステップと、前記複数の第２ピクセルそれぞれに対してユーザの右眼位置及び左眼位置を追跡するステップと、前記追跡された右眼位置及び前記追跡された左眼位置に基づいて３Ｄレンダリングを行うステップと、前記２Ｄディスプレイ領域に位置する２Ｄ映像及び前記３Ｄディスプレイ領域に位置する３Ｄ映像を含む前記複合映像を生成するステップとを含む。

一実施形態に係る映像レンダリング提供装置は、２Ｄディスプレイ領域及び３Ｄディスプレイ領域を含むディスプレイ領域によって、リアリティ及び立体感の重要なコンテンツは３Ｄ映像として提供し、意味の伝達及び正確さが重要なコンテンツは２Ｄ映像として提供することが可能である。

一実施形態に係るヘッドアップディスプレイ装置に適用された映像レンダリング装置の動作を説明するための図である。 一実施形態に係る映像レンダリング方法を説明するためのフローチャートである。 一実施形態に係る２Ｄディスプレイ領域と３Ｄディスプレイ領域を含むスクリーンの一例を示す図である。 一実施形態に係る映像レンダリング方法の一例を説明するためのフローチャートである。 一実施形態に係る映像レンダリング装置の構成を説明するための図である。 一実施形態に係るピクセルの位置に基づいて２Ｄレンダリング又は３Ｄレンダリングを行う過程を説明するための図である。 一実施形態に係る２Ｄディスプレイ領域と３Ｄディスプレイ領域を区分する方法を説明するための図である。 一実施形態に係る２Ｄディスプレイ領域と３Ｄディスプレイ領域が配置された構造の一例を示す図である。 一実施形態に係る２Ｄディスプレイ領域と３Ｄディスプレイ領域が配置された構造の一例を示す図である。 一実施形態に係る２Ｄディスプレイ領域と３Ｄディスプレイ領域が配置された構造の一例を示す図である。 一実施形態に係るレンチキュラレンズ又はパララックスバリアを含むディスプレイパネルの一例を示す図である。 一実施形態に係るレンチキュラレンズ又はパララックスバリアを含むディスプレイパネルの一例を示す図である。

実施形態に対する特定な構造的又は機能的な説明は単なる例示のための目的として開示されたものとして、様々な形態に変更され得る。したがって、実施形態は特定な開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物ないし代替物を含む。

第１又は第２などの用語を複数の構成要素を説明するために用いることがあるが、このような用語は１つの構成要素を他の構成要素から区別する目的としてのみ解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。

いずれかの構成要素が他の構成要素に「接続されて」いると言及された場合、その次の構成要素に直接的に接続されてもよく、又は中間に他の構成要素が存在することもあり得ると理解されなければならない。

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なるように定義さがれない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。

図１は、一実施形態に係るヘッドアップディスプレイ装置に適用された映像レンダリング装置の動作を説明するための図である。

映像レンダリング装置１００は、映像をレンダリングし、レンダリングの結果映像をユーザに提供する。ここで、映像レンダリング装置１００は、２Ｄレンダリング及び３Ｄレンダリングを全て行う。映像レンダリング装置１００は、２Ｄレンダリング及び３Ｄレンダリングを介して１つのスクリーンに２Ｄ映像及び３Ｄ映像を共に出力し得る。映像レンダリング装置１００は、２Ｄ映像を表示するための２Ｄディスプレイ領域と、３Ｄ映像を表示するための３Ｄディスプレイ領域を全て有するディスプレイを備え、該当の２Ｄディスプレイ領域により２Ｄ映像を出力し、３Ｄディスプレイ領域により３Ｄ映像を出力する。

映像レンダリング装置１００は、２Ｄ映像及び３Ｄ映像を一緒に提供できるアプリケーションに適用される。このようなアプリケーションで、映像レンダリング装置１００は、２Ｄ映像及び３Ｄ映像が混合した映像コンテンツを提供する。例えば、映像レンダリング装置１００は、図１に示すように、ヘッドアップディスプレイ装置で矢印のような経路案内指示子を３Ｄ映像に表示し、その他に、テキスト形態の運行情報（例えば、現在位置から目的先まで残っている距離及び目的先まで移動するためにかかる予想時間など）を２Ｄ映像に表示するために用いられる。異なる例として、映像レンダリング装置１００は映像コンテンツを３Ｄ映像に提供し、字幕を２Ｄ映像に提供するよう、２Ｄ映像及び３Ｄ映像を混合して提供する映像システムで用いられる。その他に、映像レンダリング装置１００は、拡張現実（ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ：ＡＲ）などの分野においても用いられる。映像レンダリング装置１００は、立体的に表示することが効果的なコンテンツを３Ｄ映像に出力し、立体感よりも情報を正確で分かりやすく表示することが重要なコンテンツは２Ｄ映像に出力する。

図１を参照すれば、ヘッドアップディスプレイ装置に適用された映像レンダリング装置１００は、自動車１５０に設置されて運転者１４０に２Ｄ映像１２１及び３Ｄ映像１２３が混合した結果映像１２０を提供する。結果映像１２０は、２Ｄ映像１２１及び３Ｄ映像１２３を含む。２Ｄ映像１２１及び３Ｄ映像１２３は様々な方式で配置され得る。例えば、図１に示すように、３Ｄ映像１２３は、２Ｄ映像１２１に取り囲まれた形態に配置されてもよい。しかし、これは例示に過ぎず、配置方式はこれに限定されることなく、２Ｄ映像１２１及び３Ｄ映像１２３は様々な形態に配置され得る。

映像レンダリング装置１００は、テキストのように高解像度と高速演算とが求められるコンテンツを２Ｄ映像１２１に出力する。例えば、制限速度９０ｋｍ／ｈ、現在速度９２ｋｍ／ｈ、現在時刻１３：００、予想到着時刻１３：１５、目的先まで残っている距離１５ｋｍのように、３Ｄ映像よりも２Ｄのテキストで表示することがより適切な運行情報１３１が、２Ｄ映像１２１に表示されている。

３Ｄ映像１２３は、リアリティ及び立体感が求められるコンテンツを３Ｄ映像１２３に出力し得る。例えば、経路案内指示子１３３は、３Ｄ映像１２３により、前方の道路状況と整合して運転者１４０へ効率的に立体的に表示される。３Ｄ映像１２３に含まれた経路案内指示子１３３は、運転者１４０の視点で道路と整合した案内表示１３５として立体的に見ることができるので、運転者１４０は、３Ｄ形態の経路案内指示子１３３により高いリアリティを実感できる。

他の実施形態において、映像レンダリング装置１００は、３Ｄレンダリングを行うとき、運転者１４０の目の位置に左視点映像と右視点映像が正確に見えるようにするため運転者１４０の目の位置を追跡し、追跡された目の位置に基づいて３Ｄレンダリングを行う。図１に示すような実施形態において、視点追跡のためのカメラ（図示せず）が車両のバックミラー（ｒｅａｒ ｖｉｅｗ ｍｉｒｒｏｒ）又はダッシュボード（ｄａｓｈｂｏａｒｄ）上に設置され、運転者１４０の目が示された映像を取得できる。映像レンダリング装置１００は、カメラから該当のカメラを用いて取得された映像（又は、動画）を受信し、受信した映像から特徴点検出又はテンプレートマッチングなどの方式を用いて運転者１４０の目の位置を検出する。映像レンダリング装置１００は、検出された目の位置に基づいて３Ｄレンダリング映像を構成する各ピクセルに左視点映像のピクセル値を割り当てるか、或いは右視点映像のピクセル値を割り当てるかを決定する。例えば、３Ｄディスプレイ領域を構成する表示ピクセルの光線方向が右眼よりも左眼に近い場合、該当の表示ピクセルに左視点映像のピクセル値が割り当てられ、該当の光線方向が左眼よりも右眼に近い場合には、該当の表示ピクセルに右視点映像のピクセル値が割り当てられる。このような過程を表示ピクセル全体に対して実行すれば、運転者１４０の目の位置に基づいた３Ｄレンダリング映像が生成され得る。ここで、表示ピクセルの光線方向は、３Ｄディスプレイ領域に含まれたレンチキュラレンズ又はパララックスバリアの３Ｄ光学素子の構造的な特徴によって決定され得る。

図１を参照すれば、ヘッドアップディスプレイ装置に適用された映像レンダリング装置１００は、ディスプレイパネル１０１と１つ以上の反射鏡１０３、１０５を含んでレンダリングの結果映像１２０を運転者１４０に提供する。ディスプレイパネル１０１は、２Ｄ映像及び３Ｄ映像が混合したレンダリングの結果映像１２０を反射鏡１０３に出力し、反射鏡１０３は、他の反射鏡１０５を用いてレンダリングの結果映像が運転者１４０に提供される。

映像レンダリング装置１００は、自動車１５０のウィンドシールド（ｗｉｎｄｓｈｉｅｌｄ）１１１に運行情報を表示することで、運転者１４０は、運転状態で視線を移動させなくても運行情報が提供され得る。そのため、映像レンダリング装置１００は、運転者１４０に優れた利便性を提供して事故の危険を減らすことができる。

ディスプレイパネル１０１のスクリーンは、２Ｄディスプレイ領域と３Ｄディスプレイ領域を全て含む。一実施形態に係る２Ｄディスプレイ領域は、３Ｄディスプレイ領域を取り囲んでもよいし、３Ｄディスプレイ領域の上側、下側、左側、又は右側に配置されてもよいし、３Ｄディスプレイ領域を挟んで両側に配置されるなど、多様に配置され得る。このような配置方式は例示に過ぎず、２Ｄディスプレイ領域と３Ｄディスプレイ領域の配置方式はこれらに限定されることはない。

３Ｄディスプレイ領域は、３Ｄ映像を表現するために運転者１４０の左眼及び右眼に見られる映像間の視点差を用いることができる。３Ｄディスプレイ領域は、メガネ式（ｓｔｅｒｅｏｓｃｏｐｙ）３Ｄディスプレイ、又は裸眼（ａｕｔｏｓｔｅｒｅｏｓｃｏｐｉｃ）３Ｄディスプレイにより実現される。裸眼式３Ｄディスプレイは、視点を分割する３Ｄ光学素子を用いてもよい。例えば、３Ｄディスプレイ領域は、レンチキュラレンズ又はパララックスバリアのように映像を互いに異なる視点方向に出力する３Ｄ光学素子を含む。

一実施形態に係る３Ｄディスプレイ領域は、３Ｄ映像のうち左視点映像を運転者１４０の左眼に表示し、右視点映像を運転者１４０の右眼に表示することで、運転者１４０がコンテンツの立体性を感じることができる。ここで、左視点映像と右視点映像の不完全な分離は、３Ｄ映像の画質を低下させるクロストーク（ｃｒｏｓｓｔａｌｋ）の現象を誘発する。クロストーク現象は、左視点映像と右視点映像が完全に分離できていない場合に、左視点映像の一部が右眼に見えたり、右視点映像の一部が左眼に見えてしまう現象を意味する。視点分離が充分に行われずにクロストーク現象が発生する場合、運転者１４０はめまいなどを感じてしまうことが懸念される。

実際の走行道路に整合して表示される矢印のような経路案内指示子とは異なり、テキストに表示されるコンテンツに対してクロストーク現象が生じた場合、運転者１４０は大きな不便を感じてしまうことが懸念され、これは運転の安全性等の観点からは好ましくない。したがって、全体ディスプレイ領域を一律に３Ｄディスプレイ領域に構成するよりも、テキスト等のように３Ｄよりも２Ｄで表現することがより適切なコンテンツは２Ｄで表示することが好ましい。

一実施形態によれば、映像レンダリング装置１００は、テキストのように意味の伝達が重要なコンテンツは、２Ｄレンダリングを介して２Ｄ映像として提供することで、テキスト情報の提供においてクロストーク現象の発生を防止できる。２Ｄ映像は、３Ｄ映像とは異なって左眼及び右眼に同じ映像を提供するためクロストーク現象が発生しない。また、２Ｄレンダリングは、３Ｄレンダリングよりも演算速度が速いため、テキストのように意味の伝達が重要なコンテンツは２Ｄレンダリングを介してより速く正確に処理することができる。

上記のように、映像レンダリング装置１００は、２Ｄディスプレイ領域と３Ｄディスプレイ領域を含むディスプレイ領域を介してリアリティ及び立体感の重要なコンテンツは３Ｄ映像として提供し、意味の伝達及び正確さが重要なコンテンツは２Ｄ映像として提供する。そのため、映像レンダリング装置１００は、運転者１４０に３Ｄ映像のリアリティを提供する一方、テキスト情報をクロストークの現象なしに正確かつ迅速に提供できる。

図１に示された実施形態は、映像レンダリング装置１００がヘッドアップディスプレイ装置に適用された実施形態を示しているが、ヘッドアップディスプレイ装置は例示に過ぎず、映像レンダリング装置１００は他の形態のディスプレイ装置に適用されてもよい。例えば、映像レンダリング装置１００は、自動車１５０の天井に取り付けたプロジェクターに適用されてもよい。その他に、映像レンダリング装置１００は、２Ｄ映像及び３Ｄ映像を全て表示できるディスプレイ装置であれば、いずれも適用可能である。

図２は、一実施形態に係る映像レンダリング方法を説明するためのフローチャートである。

図２を参照すれば、ステップＳ２０１において、映像レンダリング装置は、２Ｄ映像が出力される２Ｄディスプレイ領域と、３Ｄ映像が出力される３Ｄディスプレイ領域のうち現在ピクセルがいずれのディスプレイ領域に含まれているかを判断する。２Ｄディスプレイ領域と３Ｄディスプレイ領域は、１つのスクリーンに含まれてもよい。一実施形態によれば、２Ｄディスプレイ領域は、３Ｄディスプレイ領域の周辺に位置し、３Ｄディスプレイ領域には該当の３Ｄディスプレイ領域の大きさに対応するレンチキュラレンズやパララックスバリアが配置される。ディスプレイパネルは複数のピクセルを含んでもよく、映像レンダリング装置は各ピクセルに対するレンダリングを順次又は並列的に処理し得る。

ピクセルを用いて出力される映像は、２Ｄ映像又は３Ｄ映像であってもよく、これはピクセルが２Ｄディスプレイ領域に含まれるか、又は、３Ｄディスプレイ領域に含まれるかの有無に応じて決定される。ステップＳ２０３において、現在ピクセルが２Ｄディスプレイ領域に含まれる場合、映像レンダリング装置は、現在ピクセルの位置で２Ｄレンダリングを行う。映像レンダリング装置は、２Ｄ入力映像から現在ピクセルに対応するピクセル値を検索し、該当のピクセル値を２Ｄディスプレイ領域に含まれた現在ピクセルに割り当てる。一実施形態によれば、２Ｄディスプレイ領域はテキスト又は案内表示を表示する。

ステップＳ２０５において、映像レンダリング装置は、現在ピクセルが３Ｄディスプレイ領域に含まれる場合、現在ピクセルの位置で３Ｄレンダリングを行う。映像レンダリング装置は、左視点映像及び右視点映像を用いて現在ピクセルに割り当てるピクセル値を決定し、該当のピクセル値を３Ｄディスプレイ領域に含まれた現在ピクセルに割り当てる。一実施形態によれば、３Ｄディスプレイ領域は、３Ｄオブジェクトを表示する。例えば、３Ｄディスプレイ領域は、車両の経路案内指示子を示すための３Ｄオブジェクトを表示する。映像レンダリング装置は、レンチキュラレンズ又はパララックスバリアのような３Ｄ光学素子を用いて左視点映像と右視点映像とを分離して提供する。３Ｄディスプレイ領域では、上記の３Ｄ光学素子を用いて３Ｄオブジェクトを表示するための複数の視域が生成される。

ステップＳ２０３又はステップＳ２０５が実行されると、ステップＳ２０７において、映像レンダリング装置は、全体ピクセルに対して２Ｄレンダリング又は３Ｄレンダリングが実行されたか否かを判断する。２Ｄレンダリング又は３Ｄレンダリングが、未だ全てのピクセルについては実行されていない場合、ステップＳ２０９において、映像レンダリング装置は次のピクセルを選択し、次のピクセルに対してステップＳ２０１ないしステップＳ２０７の過程を行う。

全てのピクセルに対して、２Ｄレンダリング又は３Ｄレンダリングが実行された場合、ステップＳ２１１において、映像レンダリング装置は、全てのピクセルそれぞれに対して２Ｄレンダリング又は３Ｄレンダリングを実行した結果として、２Ｄ映像及び３Ｄ映像が混合したレンダリングの結果映像を生成し、該当のレンダリングの結果映像を出力する。

図３は、一実施形態に係る２Ｄディスプレイ領域と３Ｄディスプレイ領域を含むスクリーンの一例を示す図である。

図３を参照すれば、ディスプレイ装置のスクリーン３１０は、２Ｄ映像が出力される２Ｄディスプレイ領域３１１と３Ｄ映像が出力される３Ｄディスプレイ領域３２１を含む。スクリーン３１０に表示されるレンダリングの結果映像において、矢印形態の経路案内指示子３２３は３Ｄディスプレイ領域３２１内で表示されル一方、制限速度、現在時刻、予想到着時間、及び目的先までの距離のような運行情報３１３は、２Ｄディスプレイ領域３１１に表示される。本実施形態のように、映像レンダリング装置は、２Ｄディスプレイ領域３１１を介して車両の運行情報を提供するためのテキスト又は案内表示を表示する一方、３Ｄディスプレイ領域３２１を介して車両の走行経路をガイドするための３Ｄオブジェクトを表示する。

図４は、一実施形態に係る映像レンダリング方法の一例を説明するためのフローチャートである。

図４を参照すれば、ステップＳ４０１において、映像レンダリング装置は、ディスプレイパネルでレンダリングを行うピクセルの位置を確認する。ディスプレイパネルでピクセルの位置は、２次元座標、例えばＤ（ｘ、ｙ）に表示される。

ステップＳ４０３において、映像レンダリング装置は、ピクセルの位置Ｄ（ｘ、ｙ）が３Ｄ映像を表示する３Ｄディスプレイ領域に含まれるか否かを判断する。一実施形態では、３Ｄディスプレイ領域が四角形の形態であると仮定すれば、３Ｄディスプレイ領域の範囲はＯ_ｌｅｆｔ、Ｏ_{ｒｉｇｈｔ}、Ｏ_ｔｏｐ及びＯ_{ｂｏｔｔｏｍ}のよう定義される。ここで、Ｏ_ｌｅｆｔは３Ｄ映像ディスプレイ領域の左側境界のｘ座標であり、Ｏ_{ｒｉｇｈｔ}は右側境界のｘ座標であり、Ｏ_ｔｏｐは上側境界のｙ座標であり、Ｏ_{ｂｏｔｔｏｍ}は下側境界のｙ座標である。

映像レンダリング装置は、ピクセルのｘ座標がｘ＞Ｏ_ｌｅｆｔ及びｘ＜Ｏ_{ｒｉｇｈｔ}の条件を満足し、ピクセルのｙ座標がｙ＜Ｏ_ｔｏｐ及びｙ＞Ｏ_{ｂｏｔｔｏｍ}の条件が満足されるか否かを判断する。上記の条件が満足される場合、ピクセルは、３Ｄディスプレイ領域に含まれると推定される。これとは異なって、上記の条件のうちいずれか１つでも満足しない場合、ピクセルは、２Ｄ映像を表示する２Ｄディスプレイ領域に含まれると推定される。

ステップＳ４０３において、ピクセルの位置が３Ｄディスプレイ領域に含まれると判断された場合、ステップＳ４０５において、映像レンダリング装置は、該当のピクセルの位置で３Ｄレンダリングを行う。映像レンダリング装置は、複数の視点映像に基づいて３Ｄレンダリングを行って、該当のピクセルに割り当てられるピクセル値を決定する。

ステップＳ４０３でピクセルの位置が２Ｄディスプレイ領域に含まれると判断された場合、ステップＳ４０７において、映像レンダリング装置は、該当のピクセルの位置で２Ｄレンダリングを行う。映像レンダリング装置は、入力映像から該当のピクセルのピクセル値を決定し、該当のピクセルにピクセル値を割り当てる。

図５は、一実施形態に係る映像レンダリング装置の構成を説明するための図である。

図５を参照すれば、映像レンダリング装置５００は、ディスプレイパネル５０１、プロセッサ５０３、及びメモリ５０５を含む。

ディスプレイパネル５０１は、プロセッサ５０３によって生成されたレンダリングの結果映像を出力する。ディスプレイパネル５０１は、レンダリングの結果映像に基づいて２Ｄ映像及び３Ｄ映像が組み合わせた映像を出力する。ディスプレイパネル５０１は、２Ｄ映像が出力される２Ｄディスプレイ領域と３Ｄ映像が出力される３Ｄディスプレイ領域を含み、３Ｄディスプレイ領域は、レンダリングの結果映像を多重視点によって分離して３Ｄ映像の立体感を実現するための３Ｄ光学素子、例えば、パララックスバリア又はレンチキュラレンズを含む。

ディスプレイパネル５０１の２Ｄディスプレイ領域と３Ｄディスプレイ領域は様々な方式により配置され得る。例えば、２Ｄディスプレイ領域は、３Ｄディスプレイ領域を取り囲むように配置されてもよいし、又は３Ｄディスプレイ領域の一方の側又は両側に配置されてもよい。

プロセッサ５０３は映像レンダリング装置５００を制御し、上記に説明した図１ないし図４を参照して説明した動作を行う。例えば、プロセッサ５００は、図２及び図４を参照して説明した各ステップを行う。一実施形態では、プロセッサ５０３は、単一プロセッサ、マルチプロセッサ、ハードウェア加速器（ｈａｒｄｗａｒｅ ａｃｃｅｌｅｒａｔｏｒ：ＨＷＡ）、グラフィック処理ユニット（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＧＰＵ）又はその組み合せなどにより多様に構成され得る。

プロセッサ５０３は、ディスプレイパネル５０１を介して出力されるピクセルそれぞれに対して２Ｄレンダリング及び３Ｄレンダリングのいずれか１つを行い、２Ｄ映像及び３Ｄ映像が混合したレンダリングの結果映像を生成する。このために、プロセッサ５０３は、各ピクセルが２Ｄディスプレイ領域と３Ｄディスプレイ領域のいずれのディスプレイ領域に含まれるかを判断し、その判断結果に基づいて、該当のピクセルの位置で２Ｄレンダリング又は３Ｄレンダリングを行う。ピクセルが２Ｄディスプレイ領域に含まれている場合は該当のピクセルの位置で２Ｄレンダリングが実行され、ピクセルが３Ｄディスプレイ領域に含まれている場合は該当のピクセルの位置で３Ｄレンダリングが実行される。

メモリ５０５は、視点映像（例えば、左視点映像及び右視点映像のステレオ映像）、２Ｄ映像、パネル映像、プロセッサ５０３の動作のための命令、各種の関数、数式及び演算結果などのようなデータを格納する。また、メモリ５０５に保存されている該当のデータはプロセッサ５０３に送信されてもよいし、その他にメモリ５０５に格納されたデータがプロセッサ５０３に送信されてもよい。

図６Ａは、一実施形態に係るピクセルの位置に基づいて２Ｄレンダリング又は３Ｄレンダリングを行う過程を説明するための図である。

図６Ａを参照すれば、ディスプレイパネル６１０は、２Ｄディスプレイ領域６１１と３Ｄディスプレイ領域６２１を含み、２Ｄディスプレイ領域６１１と３Ｄディスプレイ領域６２１のそれぞれは複数のピクセルを含む。３Ｄディスプレイ領域６２１は３Ｄ光学素子を含む領域であって、３Ｄディスプレイ領域６２１の位置はディスプレイ装置が生産されるとき決定される。

一実施形態によれば、図６Ａに示すように、３Ｄディスプレイ領域６２１は、２Ｄディスプレイ領域６１１に取り囲まれるように配置される。３Ｄディスプレイ領域６２１が四角形の形態であると仮定すれば、上記で説明したように、３Ｄディスプレイ領域６２１は、Ｏ_ｌｅｆｔ、Ｏ_{ｒｉｇｈｔ}、Ｏ_ｔｏｐ及びＯ_{ｂｏｔｔｏｍ}に基づいて定義される。３Ｄディスプレイ領域６２１内の位置（ｘ、ｙ）は、Ｏ_ｌｅｆｔ＜ｘ＜Ｏ_{ｒｉｇｈｔ}、及びＯ_{ｂｏｔｔｏｍ}＜ｙ＜Ｏ_ｔｏｐの条件を満たす。

一実施形態では、映像レンダリング装置は、レンダリングされるピクセルの位置が上記の３Ｄディスプレイ領域に含まれるかの有無に基づいて、該当のピクセルの位置で実行されるレンダリングのタイプを決定する。一実施形態に係る映像レンダリング装置は、Ｄ（０、０）に位置するピクセルから順次に該当のピクセルが３Ｄディスプレイ領域６２１に位置するか否かを判断し、該当のピクセルが３Ｄディスプレイ領域６２１に存在するものとして決定される場合、該当のピクセルの位置で複数の視点映像に基づいて３Ｄレンダリングを行う。該当のピクセルの位置が３Ｄディスプレイ領域６２１でない２Ｄディスプレイ領域６１１に存在すると判断される場合、映像レンダリング装置は、該当のピクセルの位置で２Ｄレンダリングを行う。他の実施形態において、映像レンダリング装置は、複数のピクセルそれぞれに対して上記のような過程を並列的に処理し得る。

図６Ｂは、一実施形態に係る２Ｄディスプレイ領域と３Ｄディスプレイ領域を区分する方法を説明するための図である。

図６Ｂを参照すれば、映像レンダリング装置は、２Ｄディスプレイ領域６１１と３Ｄディスプレイ領域６２１を区分するためにテスト映像を出力する。一実施形態において、テスト映像は交差する２つの直線で構成する。２Ｄディスプレイ領域６１１では、該当の直線が鮮明に出力される。一方、３Ｄディスプレイ領域６２１では、３Ｄ光学素子によって２つの直線が鮮明には出力されない。鮮明には出力されない範囲に基づいて、３Ｄディスプレイ領域６２１の位置及び大きさが推定される。例えば、鮮明には出力されない部分の位置に基づいて、３Ｄディスプレイ領域６２１の境界を特定するためのＯ_ｌｅｆｔ、Ｏ_{ｒｉｇｈｔ}、Ｏ_ｔｏｐ及びＯ_{ｂｏｔｔｏｍ}が定義される。

図７Ａは〜７Ｃは、一実施形態に係る２Ｄディスプレイ領域と３Ｄディスプレイ領域が配置された構造の一例を示す図である。

ディスプレイパネル７００は、２Ｄディスプレイ領域と３Ｄディスプレイ領域を全て含み、２Ｄディスプレイ領域と３Ｄディスプレイ領域は、図７Ａ〜図７Ｃに示すように様々な形態に配置され得る。ただし、図７Ａ〜７Ｃに示された配置形態は例示に過ぎず、配置方式はこれに限定されることはない。

図７Ａに示すように、２Ｄディスプレイ領域７１１は、３Ｄディスプレイ領域７１３を取り囲むように配置されてもよいし、又は７Ｂに示すように、２Ｄディスプレイ領域７２１は、３Ｄディスプレイ領域７２３の一方の側に配置されてもよい。他の実施形態によれば、図７Ｃに示すように、ディスプレイパネル７００は、複数の２Ｄディスプレイ領域７３１、７３３を含んでもよい。ここで、２Ｄディスプレイ領域７３１、７３３のそれぞれは、３Ｄディスプレイ領域７３５の上下、左右に配置されてもよいし、３Ｄディスプレイ領域７３５をはさんで両側に配置されてもよい。ただし、配置の仕方はこれらに限定されない。

図８Ａ及び図８Ｂは、一実施形態に係るレンチキュラレンズ又はパララックスバリアを含むディスプレイパネルの一例を示す図である。

一実施形態に係る映像レンダリング装置は、裸眼式３Ｄ表示方式により３Ｄ映像を実現し得る。映像レンダリング装置は、パララックスバリア又はレンチキュラレンズのような３Ｄ光学素子を用いてユーザの左眼及び右眼に互いに異なる映像を映すようにしてユーザに立体感を提供する。一実施形態によれば、３Ｄ光学素子は、ディスプレイパネルで３Ｄディスプレイ領域に対応する部分に配置される。

図８Ａは、レンチキュラレンズを含むディスプレイパネルを示す。図８Ａを参照すれば、レンチキュラレンズ８１３を用いた方式は、ディスプレイパネル前面にピッチの小さいシリンダレンズを数個配列し、左視点映像と右視点映像を互いに分離する。一実施形態に係るレンチキュラレンズ８１３は、図８Ａに示すように、ピクセル８１１の前方に配置される。ピクセル８１１は、左視点映像に対応するピクセル「Ｌ」と右視点映像に対応するピクセル「Ｒ」に区分して配置される。レンチキュラレンズ８１３により映像が視点方向によって互いに分離して見られる領域である複数の視域８２１、８２３が形成される。

図８Ｂは、パララックスバリアを含むディスプレイパネルを示す。図８Ｂを参照すれば、パララックスバリア８３３を用いた方式は、ディスプレイパネルの前面に光の進行方向を制限するバリアを配置し、左視点映像と右視点映像を互いに分離する。一実施形態に係るバリアは、図８Ｂに示すように、ピクセル８３１の前方に配置されてもよいし、又はピクセル８３１の後方に配置されてもよい。レンチキュラレンズと同様に、パララックスバリア８３３によって複数の視域８４１、８４３が形成され得る。

以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。

実施形態に係る方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。

上述したように実施形態をたとえ限定された図面によって説明したが、当該技術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順に実行され、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、或いは、他の構成要素又は均等物によって置き換えられたとしても適切な結果を達成することができる。

Claims (20)

1. ディスプレイ装置に出力される映像をレンダリングする映像レンダリング方法であって、
   ２Ｄ映像が出力される２Ｄディスプレイ領域と３Ｄ映像が出力される３Ｄディスプレイ領域のうち、現在ピクセルがいずれのディスプレイ領域に含まれるかを判断するステップと、
   前記現在ピクセルが前記２Ｄディスプレイ領域に含まれる場合、前記現在ピクセルの位置で２Ｄレンダリングを行うステップと、
   前記現在ピクセルが前記３Ｄディスプレイ領域に含まれる場合、前記現在ピクセルの位置で３Ｄレンダリングを行うステップと、
   を含む映像レンダリング方法。
2. 前記２Ｄディスプレイ領域と前記３Ｄディスプレイ領域は１つのスクリーンに含まれる、請求項１に記載の映像レンダリング方法。
3. 前記２Ｄディスプレイ領域は前記３Ｄディスプレイ領域を取り囲んでいる、請求項２に記載の映像レンダリング方法。
4. 全体ピクセルそれぞれに対して前記２Ｄレンダリング又は前記３Ｄレンダリングを行うことにより、前記２Ｄ映像及び前記３Ｄ映像が混合した結果映像を生成するステップをさらに含む、請求項１ないし３のうち何れか一項に記載の映像レンダリング方法。
5. 前記２Ｄディスプレイ領域は、テキスト及び案内表示のうち少なくとも１つを表示する、請求項１ないし４のうち何れか一項に記載の映像レンダリング方法。
6. 前記２Ｄディスプレイ領域は、車両の運行情報を提供するためのテキスト及び案内表示のうち少なくとも１つを表示する、請求項５に記載の映像レンダリング方法。
7. 前記３Ｄディスプレイ領域は３Ｄオブジェクトの映像を表示する、請求項１ないし６のうち何れか一項に記載の映像レンダリング方法。
8. 前記３Ｄディスプレイ領域は、車両の走行経路をガイドするための３Ｄオブジェクトの映像を表示する、請求項７に記載の映像レンダリング方法。
9. 前記３Ｄディスプレイ領域において、パララックスバリア及びレンチキュラレンズのうち少なくとも１つを用いることにより、前記３Ｄオブジェクトの映像を表示するための複数の視域が生成される、請求項７に記載の映像レンダリング方法。
10. 前記ディスプレイ装置は、ヘッドアップディスプレイ（ＨＵＤ）装置である、請求項１ないし９のうち何れか一項に記載の映像レンダリング方法。
11. ディスプレイ装置のスクリーンに表示される映像をレンダリングする映像レンダリング方法において、前記スクリーンは、複数の第１ピクセルを含む２Ｄディスプレイ領域及び複数の第２ピクセルを含む３Ｄディスプレイ領域に分割され、前記レンダリング方法は、
    前記複数の第１ピクセルそれぞれに対して２Ｄレンダリングを行うステップと、
    前記複数の第２ピクセルそれぞれに対してユーザの右眼位置及び左眼位置を追跡するステップと、
    前記追跡された右眼位置及び前記追跡された左眼位置に基づいて、前記複数の第２ピクセルそれぞれに対して３Ｄレンダリングを行うステップと、
    前記２Ｄディスプレイ領域に位置する２Ｄ映像及び前記３Ｄディスプレイ領域に位置する３Ｄ映像を含む複合映像を生成及びレンダリングするステップと、
    を含む、映像レンダリング方法。
12. 少なくとも１つのプロセッサと、
    ２Ｄ映像が出力される２Ｄディスプレイ領域と３Ｄ映像が出力される３Ｄディスプレイ領域とを含むディスプレイパネルと、を含み、
    前記プロセッサは、前記ディスプレイパネルを介して出力されるピクセルそれぞれに対して２Ｄレンダリング又は３Ｄレンダリングを行うことにより、前記２Ｄ映像及び前記３Ｄ映像が混合した結果映像を生成し、
    前記ディスプレイパネルは前記結果映像を出力する、映像レンダリング装置。
13. 前記プロセッサは、
    現在ピクセルが前記２Ｄディスプレイ領域と前記３Ｄディスプレイ領域のうちいずれのディスプレイ領域に含まれるかを判断し、
    前記現在ピクセルが前記２Ｄディスプレイ領域に含まれる場合、前記現在ピクセルの位置で前記２Ｄレンダリングを行い、
    前記現在ピクセルが前記３Ｄディスプレイ領域に含まれる場合、前記現在ピクセルの位置で前記３Ｄレンダリングを行う、請求項１２に記載の映像レンダリング装置。
14. 前記ディスプレイパネルは、前記３Ｄ映像を表示するための複数の視域を生成するパララックスバリア及びレンチキュラレンズのうち少なくとも１つを含む、請求項１２又は１３に記載の映像レンダリング装置。
15. 前記ディスプレイパネルに含まれる前記パララックスバリア及び前記レンチキュラレンズのうち少なくとも１つは、前記ディスプレイパネルで前記３Ｄディスプレイ領域に対応する一部分に配置される、請求項１４に記載の映像レンダリング装置。
16. 前記２Ｄディスプレイ領域は前記３Ｄディスプレイ領域を取り囲んでいる、請求項１２ないし１５のうち何れか一項に記載の映像レンダリング装置。
17. 前記２Ｄディスプレイ領域は前記３Ｄディスプレイ領域の一方の側に配置される、請求項１２ないし１５のうち何れか一項に記載の映像レンダリング装置。
18. 前記ディスプレイパネルは、複数の２Ｄディスプレイ領域を含み、
    前記複数の２Ｄディスプレイ領域は、前記３Ｄディスプレイ領域をはさんだ両側に配置される、請求項１２ないし１５のうち何れか一項に記載の映像レンダリング装置。
19. 前記２Ｄディスプレイ領域は、車両に関する運行情報を提供するためのテキスト及び案内表示のうち少なくとも１つを表示し、
    前記３Ｄディスプレイ領域は、車両の走行経路をガイドするための３Ｄオブジェクトの映像を表示する、請求項１２ないし１８のうち何れか一項に記載の映像レンダリング装置。
20. 請求項１ないし１１のうち何れか一項に記載の映像レンダリング方法を映像レンダリング装置のコンピュータに実行させるコンピュータプログラム。

Images