JP2020167657A - 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 - Google Patents

画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 Download PDF

Info

Publication number
JP2020167657A
JP2020167657A JP2019185338A JP2019185338A JP2020167657A JP 2020167657 A JP2020167657 A JP 2020167657A JP 2019185338 A JP2019185338 A JP 2019185338A JP 2019185338 A JP2019185338 A JP 2019185338A JP 2020167657 A JP2020167657 A JP 2020167657A
Authority
JP
Japan
Prior art keywords
image
display
displacement vector
displacement
captured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019185338A
Other languages
English (en)
Other versions
JP7429515B2 (ja
Inventor
活志 大塚
Katsuyuki Otsuka
活志 大塚
貴志 島津
Takashi Shimazu
貴志 島津
勇一郎 中村
Yuichiro Nakamura
勇一郎 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Interactive Entertainment LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment LLC filed Critical Sony Interactive Entertainment LLC
Priority to US16/823,575 priority Critical patent/US11143874B2/en
Publication of JP2020167657A publication Critical patent/JP2020167657A/ja
Priority to US17/463,792 priority patent/US11614627B2/en
Application granted granted Critical
Publication of JP7429515B2 publication Critical patent/JP7429515B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

【課題】遮蔽型のヘッドマウントディスプレイを装着した状態で周囲の状況を違和感なく視認できるようにする。【解決手段】 ヘッドマウントディスプレイ100に、コンテンツ処理装置200から画像を受信し表示パネル122に表示する処理経路Bと異なる処理経路Aを設ける。処理経路Aは、ステレオカメラ110による撮影画像を補正し、表示パネル122に即時出力する画像処理用集積回路120により実現する。画像処理用集積回路120は、補正に必要な画素の変位を表す変位ベクトルマップを参照し、複数の補正を1度に実施して、画素列ごとに表示パネル122に出力する。【選択図】図3

Description

この発明は、装着したユーザの眼前に画像を表示するヘッドマウントディスプレイ、表示画像を処理する画像処理装置、およびそこでなされる画像表示方法に関する。
対象空間を自由な視点から鑑賞できる画像表示システムが普及している。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ヘッドマウントディスプレイを装着したユーザの視線方向に応じた画像が表示されるようにしたシステムが開発されている。ヘッドマウントディスプレイを利用することで、映像への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりすることができる。また、ヘッドマウントディスプレイを装着したユーザが物理的に移動することで、映像として表示された空間内を仮想的に歩き回ることのできるウォークスルーシステムも開発されている。
ヘッドマウントディスプレイには、ユーザの視界を覆うようにして外界からの光を遮蔽する遮蔽型と、外界からの光を取り込み周囲の様子も見えるようにした光学透過型がある。遮蔽型のヘッドマウントディスプレイの場合、鑑賞者にはディスプレイに表示された画像のみが見えるため、表示させた仮想世界をより高い没入感で楽しむことができる。
遮蔽型のヘッドマウントディスプレイでは基本的に、表示パネルの発光のみが視覚刺激となる。したがって、例えばヘッドマウントディスプレイを装着してからコンテンツの画像を表示させるまでの間や、表示が終了した後など画像が表示されない期間があると、鑑賞者は当然何も見えない状態となる。その結果、そのような期間において、周囲にある物につまずいたりぶつかったりする危険がある。また、仮想世界の画像が表示された状態で、近くに置いたコントローラを手に取りたいなど周囲の状況を見たければ、その都度ヘッドマウントディスプレイを外す必要がある。
そこでヘッドマウントディスプレイの前面にカメラを設け、その撮影画像を表示させることにより周囲の状況を確認できるようにすることが考えられる。しかしながら撮影から表示までの遅延時間が大きいと、自身の挙動と表示画像に時間差があることをユーザが認識し、違和感を覚えたり実用性が低下したりすることが考えられる。
本発明はこうした課題に鑑みてなされたものであり、その目的は、遮蔽型のヘッドマウントディスプレイを装着した状態で周囲の状況を違和感なく視認できる技術を低遅延、低コスト、低消費電力で提供することにある。
上記課題を解決するために、本発明のある態様は画像処理装置に関する。この画像処理装置は、撮影画像のデータを取得する撮影画像取得部と、記憶部に格納された、撮影画像を表示画像に補正する際に必要な画素の変位量および変位方向を表す変位ベクトルを、画像平面に表した変位ベクトルマップを参照して、または前記変位ベクトルを計算して、撮影画像を補正する補正部と、補正された画像を表示パネルに表示させる画像表示制御部と、を備えたことを特徴とする。
本発明の別の態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、上記画像処理装置と、その撮影画像取得部に撮影画像を供給する撮像装置と、表示パネルと、を備えることを特徴とする。
本発明のさらに別の態様は画像表示方法に関する。この画像表示方法は画像処理装置が、撮影画像のデータを取得するステップと、撮影画像を表示画像に補正する際に必要な画素の変位量および変位方向を表す変位ベクトルを、画像平面に表した変位ベクトルマップをメモリから読み出し、それを参照して、または前記変位ベクトルを計算して、撮影画像を補正するステップと、補正された画像を表示パネルに表示させるステップと、を含むことを特徴とする。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、遮蔽型のヘッドマウントディスプレイを装着した状態で周囲の状況を違和感なく視認できる。
本実施の形態のヘッドマウントディスプレイの外観例を示す図である。 本実施の形態のコンテンツ処理システムの構成例を示す図である。 本実施の形態のコンテンツ処理システムにおけるデータの経路を模式的に示す図である。 本実施の形態の画像処理用集積回路において、撮影画像から表示画像を生成する処理を説明するための図である。 本実施の形態の画像処理用集積回路の回路構成を示す図である。 本実施の形態におけるデータの流れを示す図である。 本実施の形態におけるヘッドマウントディスプレイが内蔵する画像処理装置の機能ブロックの構成を示す図である。 本実施の形態における表示処理の手順を説明するための図である。 歪みのない画像を加工して表示するまでの時間における、本実施の形態の有意性を説明するための図である。 本実施の形態の補正回路が撮影画像を補正する処理手順の例を説明するための図である。 本実施の形態において、補正処理に必要なバッファメモリの容量について説明するための図である。 本実施の形態において、色収差補正として変位ベクトルに含める要素の例を説明するための図である。 本実施の形態の変位ベクトルマップ用メモリに格納するデータを模式的に示す図である。
図1はヘッドマウントディスプレイ100の外観例を示す。この例においてヘッドマウントディスプレイ100は、出力機構部102および装着機構部104で構成される。装着機構部104は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド106を含む。出力機構部102は、ヘッドマウントディスプレイ100をユーザが装着した状態において左右の目を覆うような形状の筐体108を含み、内部には装着時に目に正対するように表示パネルを備える。
筐体108内部にはさらに、ヘッドマウントディスプレイ100の装着時に表示パネルとユーザの目との間に位置し、画像を拡大して見せる接眼レンズを備える。またヘッドマウントディスプレイ100はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。またヘッドマウントディスプレイ100はモーションセンサを内蔵し、ヘッドマウントディスプレイ100を装着したユーザの頭部の並進運動や回転運動、ひいては各時刻の位置や姿勢を検出してもよい。
ヘッドマウントディスプレイ100はさらに、筐体108の前面にステレオカメラ110、中央に広視野角の単眼カメラ111、左上、右上、左下、右下の四隅に広視野角の4つのカメラ112を備え、ユーザの顔の向きに対応する方向の実空間を動画撮影する。本実施の形態では、ステレオカメラ110が撮影した画像を即時表示させることにより、ユーザが向いた方向の実空間の様子をそのまま見せるモードを提供する。以後、このようなモードを「シースルーモード」と呼ぶ。コンテンツの画像を表示していない期間、ヘッドマウントディスプレイ100は基本的にシースルーモードへ移行する。
ヘッドマウントディスプレイ100が自動でシースルーモードへ移行することにより、ユーザはコンテンツの開始前、終了後、中断時などに、ヘッドマウントディスプレイ100を外すことなく周囲の状況を確認できる。シースルーモードへの移行タイミングはこのほか、ユーザが明示的に移行操作を行ったときなどでもよい。これによりコンテンツの鑑賞中であっても、任意のタイミングで一時的に実空間の画像へ表示を切り替えることができ、コントローラを見つけて手に取るなど必要な作業を行える。
ステレオカメラ110、単眼カメラ111、4つのカメラ112による撮影画像の少なくともいずれかは、コンテンツの画像としても利用できる。例えば写っている実空間と対応するような位置、姿勢、動きで、仮想オブジェクトを撮影画像に合成して表示することにより、拡張現実(AR:Augmented Reality)や複合現実(MR:Mixed Reality)を実現できる。このように撮影画像を表示に含めるか否かによらず、撮影画像の解析結果を用いて、描画するオブジェクトの位置、姿勢、動きを決定づけることができる。
例えば、撮影画像にステレオマッチングを施すことにより対応点を抽出し、三角測量の原理で被写体の距離を取得してもよい。あるいはSLAM(Simultaneous Localization and Mapping)により周囲の空間に対するヘッドマウントディスプレイ100、ひいてはユーザの頭部の位置や姿勢を取得してもよい。また物体認識や物体深度測定なども行える。これらの処理により、ユーザの視点の位置や視線の向きに対応する視野で仮想世界を描画し表示させることができる。
なお本実施の形態のヘッドマウントディスプレイ100は、ユーザの視界を遮蔽する遮蔽型のヘッドマウントディスプレイであり、かつユーザの顔の位置や向きに対応する視野で実空間を撮影するカメラを備えれば、実際の形状は図示するものに限らない。また、シースルーモードにおいて左目の視野、右目の視野の画像を擬似的に生成すれば、ステレオカメラ110の代わりに単眼カメラや4つのカメラ112を用いることもできる。
図2は、本実施の形態におけるコンテンツ処理システムの構成例を示す。ヘッドマウントディスプレイ100は、無線通信またはUSB Type−Cなどの周辺機器を接続するインターフェース300によりコンテンツ処理装置200に接続される。コンテンツ処理装置200には平板型ディスプレイ302が接続される。コンテンツ処理装置200は、さらにネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザがネットワークを介して参加できるゲームなどのオンラインアプリケーションをコンテンツ処理装置200に提供してもよい。
コンテンツ処理装置200は基本的に、コンテンツのプログラムを処理し、表示画像を生成してヘッドマウントディスプレイ100や平板型ディスプレイ302に送信する。ある態様においてコンテンツ処理装置200は、ヘッドマウントディスプレイ100を装着したユーザの頭部の位置や姿勢に基づき視点の位置や視線の方向を特定し、それに対応する視野の表示画像を所定のレートで生成する。
ヘッドマウントディスプレイ100は当該表示画像のデータを受信し、コンテンツの画像として表示する。この限りにおいて画像を表示する目的は特に限定されない。例えばコンテンツ処理装置200は、電子ゲームを進捗させつつゲームの舞台である仮想世界を表示画像として生成してもよいし、仮想世界か実世界かに関わらず観賞や情報提供のために静止画像または動画像を表示させてもよい。
なおコンテンツ処理装置200とヘッドマウントディスプレイ100の距離やインターフェース300の通信方式は限定されない。例えばコンテンツ処理装置200は、個人が所有するゲーム装置などのほか、クラウドゲームなど各種配信サービスを提供する企業などのサーバや、任意の端末にデータを送信する家庭内サーバなどでもよい。したがってコンテンツ処理装置200とヘッドマウントディスプレイ100の間の通信は上述した例のほか、インターネットなどの公衆ネットワークやLAN(Local Area Network)、携帯電話キャリアネットワーク、街中にあるWi−Fiスポット、家庭にあるWi−Fiアクセスポイントなど、任意のネットワークやアクセスポイントを経由して実現してもよい。
図3は、本実施の形態のコンテンツ処理システムにおけるデータの経路を模式的に示している。ヘッドマウントディスプレイ100は上述のとおりステレオカメラ110と表示パネル122を備える。ただし上述のとおりカメラはステレオカメラ110に限らず、単眼カメラ111や4つのカメラ112のいずれかまたは組み合わせであってもよい。以後の説明も同様である。表示パネル122は、液晶ディスプレイや有機ELディスプレイなどの一般的な表示機構を有するパネルであり、ヘッドマウントディスプレイ100を装着したユーザの目の前に画像を表示する。また内部には画像処理用集積回路120を備える。
画像処理用集積回路120は例えば、CPUを含む様々な機能モジュールを搭載したシステムオンチップである。なおヘッドマウントディスプレイ100はこのほか、上述のとおりジャイロセンサ、加速度センサ、角加速度センサなどのモーションセンサや、DRAM(Dynamic Random Access Memory)などのメインメモリ、ユーザに音声を聞かせるオーディオ回路、周辺機器を接続するための周辺機器インターフェース回路などが備えられてよいが、ここでは図示を省略している。
拡張現実や複合現実を遮蔽型のヘッドマウントディスプレイで実現する場合、一般にはステレオカメラ110などによる撮影画像を、コンテンツを処理する主体に取り込み、そこで仮想オブジェクトと合成して表示画像を生成する。図示するシステムにおいてコンテンツを処理する主体はコンテンツ処理装置200のため、矢印Bに示すように、ステレオカメラ110で撮影された画像は、画像処理用集積回路120を経て一旦、コンテンツ処理装置200に送信される。
そして仮想オブジェクトが合成されるなどしてヘッドマウントディスプレイ100に返され、表示パネル122に表示される。一方、本実施の形態ではシースルーモードとして、コンテンツの処理とは異なるデータの経路を設ける。すなわち矢印Aに示すように、ステレオカメラ110で撮影された画像を、画像処理用集積回路120で適宜処理し、そのまま表示パネル122に表示させる。このとき画像処理用集積回路120は、撮影画像を表示に適した形式に補正する処理のみ実施する。
矢印Aの経路によれば、矢印Bと比較しデータの伝送経路が格段に短縮するため、画像の撮影から表示までの時間を短縮できるとともに、伝送に要する消費電力を軽減させることができる。さらに本実施の形態では、画像処理用集積回路120での補正処理を、ステレオカメラ110における1フレーム分の撮影を待たずに撮影と並行して実施し、表示パネル122に順次出力する。
これらの構成により、ユーザの顔の向きに対応する撮影画像を即座に表示でき、ディスプレイを介さずに周囲を見ているのと同様の状態を作り出すことができる。なお矢印Aの経路はシースルーモードに限らず、コンテンツ処理装置200が生成した画像と撮影画像を合成する際にも利用できる。すなわちコンテンツ処理装置200からは合成すべき画像のデータのみを送信し、ヘッドマウントディスプレイ100の画像処理用集積回路120において撮影画像と合成したうえ表示パネル122に出力する。
このようにすると、ヘッドマウントディスプレイ100からコンテンツ処理装置200へは、撮影画像のデータの代わりに、撮影画像を解析することにより取得した、実空間に係る情報のみを送信すればよくなる。結果として、撮影画像のデータ自体を送信してコンテンツ処理装置200で合成する場合と比較し、データ伝送に要する時間や消費電力を軽減できる。したがって本実施の形態では矢印Aと矢印Bの双方の経路を設け、表示の目的や内容に応じて適切に切り替える。
図4は、画像処理用集積回路120において、撮影画像から表示画像を生成する処理を説明するための図である。実空間において、物が置かれたテーブルがユーザの前にあるとする。ステレオカメラ110はそれを撮影することにより、左視点の撮影画像16a、右視点の撮影画像16bを取得する。ステレオカメラ110の視差により、撮影画像16a、16bには、同じ被写体の像の位置に水平方向のずれが生じている。
また、カメラのレンズにより、被写体の像には歪曲収差が発生する。一般には、そのようなレンズ歪みを補正し、歪みのない左視点の画像18a、右視点の画像18bを生成する(S10)。ここで元の画像16a、16bにおける位置座標(x,y)の画素が、補正後の画像18a、18bにおける位置座標(x+Δx,y+Δy)へ補正されたとすると、その変位ベクトル(Δx,Δy)は次の一般式で表せる。
ここでrは、画像平面におけるレンズの光軸から対象画素までの距離、(Cx,Cy)はレンズの光軸の位置である。またk、k、k、・・・はレンズ歪み係数でありレンズの設計に依存する。次数の上限は特に限定されない。なお本実施の形態において補正に用いる式を式1に限定する趣旨ではない。平板型ディスプレイに表示させたり画像解析をしたりする場合、このように補正された一般的な画像が用いられる。一方、ヘッドマウントディスプレイ100において、接眼レンズを介して見た時に歪みのない画像18a、18bが視認されるためには、接眼レンズによる歪みと逆の歪みを与えておく必要がある。
例えば画像の四辺が糸巻き状に凹んで見えるレンズの場合、画像を樽型に湾曲させておく。したがって歪みのない画像18a、18bを接眼レンズに対応するように歪ませ、表示パネル122のサイズに合わせて左右に接続することにより、最終的な表示画像22が生成される(S12)。表示画像22の左右の領域における被写体の像と、補正前の歪みのない画像18a、18bにおける被写体の像の関係は、カメラのレンズ歪みを有する画像と歪みを補正した画像の関係と同等である。
したがって式1の変位ベクトル(Δx,Δy)の逆ベクトルにより、表示画像22における歪みのある像を生成できる。ただし当然、レンズに係る変数は接眼レンズの値とする。本実施の形態の画像処理用集積回路120は、このような2つのレンズを踏まえた歪みの除去と付加を、一度の計算で完了させる(S14)。詳細には、元の撮影画像16a、16b上の画素が、補正によって表示画像22のどの位置に変位するかを示す変位ベクトルを画像平面に表した変位ベクトルマップを作成しておく。
カメラのレンズによる歪みを除去する際の変位ベクトルを(Δx,Δy)、接眼レンズのために歪みを付加する際の変位ベクトルを(−Δx’,−Δy’)とすると、変位ベクトルマップが各位置で保持する変位ベクトルは(Δx−Δx’,Δy−Δy’)となる。なお変位ベクトルは、画素の変位の方向と変位量を定義するのみであるため、事前にそれらのパラメータを決定できるものであれば、レンズ歪みに起因する補正に限らず様々な補正や組み合わせを、同様の構成で容易に実現できる。
例えば撮影画像16a、16bを拡縮し表示パネル122のサイズに合わせる補正や、表示パネル122における発光素子の色の配列を踏まえた色収差の補正についても、変位ベクトルの要素に含めてよい。この場合も、画像平面の位置に対してそれぞれの補正における変位ベクトルを求め、それらを合計することにより最終的な変位ベクトルマップを生成できる。これにより、1度の処理で複数の補正を施すことができる。表示画像22を生成する際は変位ベクトルマップを参照して、撮影画像16a、16bの各位置の画素を変位ベクトル分だけ移動させる。
撮影画像16a、16bと表示画像22は、歪みの分の変位はあるものの像が表れる位置や形状に大きな変化はないため、画像平面の上の行から順に撮影画像の画素値が取得されるのと並行して、その画素値を取得し補正を施すことができる。そして上の段から順に、補正処理と並行して表示パネル122へ出力することにより、低遅延での表示を実現できる。
ただし上述の変位ベクトルマップに代えて、歪みを与えた画像と撮影画像における、対応する画素の位置関係を導出するための変換式を設定してもよい。また表示画像の画素値を決定する要因は、歪みの有無による画素の変位のみに限定されない。例えば、次のパラメータを適宜組み合わせて画素値を決定する。
1.モーションセンサの出力値やSLAMの計算結果に基づくユーザの姿勢や向いている方向
2.ユーザ固有の左右の瞳孔間距離(目と目の間の距離)
3.ヘッドマウントディスプレイ100の装着機構部104(装着バンド106)を、ユーザの頭や目の関係に基づき調整した結果として定まるパラメータ
上記1については、モーションセンサ出力およびSLAM計算結果に基づいてユーザ動態を把握する。カメラが撮影した瞬間から、その画像がディスプレイ表示され、更にユーザに認識されるまでには、微小な遅延が存在する。把握したユーザ動態に基づき、この微小期間における、視野移動量を予測する。画像を生成する際に、予測した視野移動量をパラメータとして、変移量に補正をかける。例えばユーザが正面から右に首をふっている途中なら、撮影からユーザ認知までの期間に、右方向にどれだけ視野がずれるか予測計算し、その分だけ撮影画像をずらして生成する。
上記2の瞳孔間距離は次のように取得する。すなわちヘッドマウントディスプレイ100が視線追跡用ステレオカメラを内蔵している場合、ヘッドマウントディスプレイ100を装着したユーザの瞳孔を当該視線追跡用ステレオカメラにより撮影する。または、ヘッドマウントディスプレイ100の前面に設けたステレオカメラ110などをユーザが自分の顔に向けることにより、目が開いた顔を撮影する。または、コンテンツ処理システム外の図示しないカメラをユーザにむけて、目が開いた顔を撮影する。そのようにして撮影した画像を、コンテンツ処理システムで動く、瞳孔の画像認識ソフトウェアが処理し、瞳孔間距離を自動測定・記録する。
視線追跡用ステレオカメラやステレオカメラ110のカメラ間距離を用いた場合、三角測量する。もしくは、撮影した画像を、コンテンツ処理システムが平板型ディスプレイ302に表示し、ユーザが左右瞳孔の位置を指定することで、コンテンツ処理装置200が、指定に基づき、左右の瞳孔間距離を計算して記録する。ユーザが自分の瞳孔間距離を直接登録することがあってもよい。このようにして取得した瞳孔間距離は、図4の表示画像22における左目用画像と右目用画像の距離に反映させる。
上記3については、ヘッドマウントディスプレイ100が内蔵する図示しないロータリーエンコーダやロータリーボリュームなどの計測器が、装着機構部104や装着バンド106のメカニカルな調整結果を取得する。コンテンツ処理システムは、当該調整結果に基づき接眼レンズから目までの距離や角度を計算する。このようにして取得したパラメータは、図3の表示画像22における画像の拡大率や像の位置に反映させる。
上記1〜3は、ヘッドマウントディスプレイ100を装着するユーザ固有のパラメータであり、事前にマップに反映させることが難しい。したがって、変位ベクトルマップを参照してなされる変換と、上記1〜3の少なくともいずれかのパラメータに基づく変換を組み合わせて最終的な画素値を決定してよい。
図5は、本実施の形態の画像処理用集積回路120の回路構成を示している。ただし本実施の形態に係る構成のみ図示し、その他は省略している。画像処理用集積回路120は、入出力インターフェース30、CPU32、補正回路36、バッファメモリ38、変位ベクトルマップ用メモリ40、イメージ信号処理回路42、およびディスプレイコントローラ44を備える。
入出力インターフェース30は有線または無線通信によりコンテンツ処理装置200と通信を確立し、データの送受信を実現する。CPU32は、画像信号、センサ信号などの信号や、命令やデータを処理して出力するメインプロセッサであり、他の回路を制御する。イメージ信号処理回路42は、ステレオカメラ110の左右のイメージセンサから撮影画像のデータを取得し、それぞれにデモザイク処理などの必要な処理を施す。ただしレンズ歪み補正は実施せず、画素値が決定した画素列順にバッファメモリ38にそのデータを格納する。イメージ信号処理回路42はISP(Image Signal Processor)と同義である。
補正回路36は撮影画像を補正して表示画像を生成する。バッファメモリ38は撮影画像のデータを一時的に格納する。変位ベクトルマップ用メモリ40は変位ベクトルマップを格納する。なおバッファメモリ38と変位ベクトルマップ用メモリ40はメインメモリと一体的に構成してもよい。補正回路36は上述のとおり、撮影画像における各画素を、変位ベクトル分だけ変位させることにより表示画像を生成する。変位ベクトルマップにおいて変位ベクトルを設定する対象は、撮影画像平面の全ての画素でもよいし、所定間隔の離散的な画素のみでもよい。
後者の場合、補正回路36はまず、変位ベクトルが設定されている画素について変位先を求め、それらの画素との位置関係に基づき、残りの画素の変位先を補間により求める。色収差を補正する場合、赤、緑、青の原色ごとに変位ベクトルが異なるため、変位ベクトルマップを3つ準備する。また補正回路36は表示画像のうち、このような画素の変位によって値が決定しない画素については、周囲の画素値を適宜補間して画素値を決定する。
なお補正回路36は、別途バッファメモリ38に格納されているUI(User Interface)プレーン画像(あるいはOSD(On Screen Display)プレーン画像とも呼ぶ)を参照し、撮影画像に合成(スーパーインポーズ)してもよい。合成は、変位ベクトルマップによる補正後のUIプレーン画像と、変位ベクトルマップによる補正後の撮影画像の間で行う。UIプレーン画像は、変位ベクトルマップによる補正後の画像をバッファメモリ38にあらかじめ格納しておいてもよいし、UIプレーン画像用の変位ベクトルマップと歪みのないUIプレーン画像をあらかじめ格納しておき、それらを参照したUIプレーン画像の補正を、撮影画像の補正と並列に実施してもよい。
補正回路36は、そのようにして決定した画素値を上の行から順に、ディスプレイコントローラ44に出力していく。この際のディスプレイコントローラ44へのデータ送出には、実際には、図示しないハンドシェークコントローラなどを利用し、両者の通信を適切に制御する。
すなわち補正回路は、図示しないハンドシェークコントローラを内蔵してもよい。ハンドシェークコントローラは、バッファメモリ38に対して、イメージ信号処理回路42がデータを書き込んでいる位置、バッファメモリ38に格納されている画素量が、撮影画像のうち、表示画像の1行分の画素値を決定するのに必要な量を満たしていること、および、補正回路36がデータを読み出している位置、を常に監視し、データ欠乏、すなわちバッファアンダーランや、データ溢れ、すなわちバッファオーバーランが起きることを防止する。
もし、バッファアンダーランやバッファオーバーランが起きてしまった場合は、CPU32に通知する。CPU32は、ユーザへの異常発生の通達や、転送の再開処理を行う。ディスプレイコントローラ44は、送出されたデータを順次電気信号に変換して、適切なタイミングで表示パネル122の画素を駆動させることにより画像を表示させる。
図6は本実施の形態におけるデータの流れを示している。まずステレオカメラ110のイメージセンサから出力された撮影画像の信号は、イメージ信号処理回路42に入力され、デモザイク処理など必要な処理が施されて順次、バッファメモリ38に格納される。補正回路36は、バッファメモリ38に必要なデータが格納された時点で、変位ベクトルマップに基づき当該データを読み出して表示画像の画素値を決定し、上の行から順にディスプレイコントローラ44に出力する。これが表示パネル122に順次表示されることにより低遅延で画像が表示される。
図7は、ヘッドマウントディスプレイが内蔵する画像処理装置128の機能ブロックの構成を示している。図示する機能ブロックは、ハードウェア的には、図5に示した画像処理用集積回路120などの構成で実現でき、ソフトウェア的には、記録媒体などからメインメモリなどにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
画像処理装置128のうち撮影画像取得部130はCPU32、イメージ信号処理回路42、バッファメモリ38により実現され、撮影画像のデータを取得して必要な前処理を施す。変位ベクトルマップ記憶部140は変位ベクトルマップ用メモリ40で実現され、撮影画像を表示画像に補正する際に必要な画素の変位量および変位方向を表す変位ベクトルを、画像平面に表した変位ベクトルマップを記憶する。補正部144はCPU32、補正回路36で実現され、変位ベクトルマップを参照して撮影画像を補正し表示画像の画素のデータを生成する。
部分画像記憶部142はバッファメモリ38で実現され、補正後の画素のデータを生成された順に格納する。データ転送制御部146はCPU32、ハンドシェークコントローラ、バッファメモリ38で実現され、表示画像の全画素数より少ない所定数の画素のデータが部分画像記憶部142に格納される都度、当該データが送出されるように制御する。画像表示制御部148は、ディスプレイコントローラ44、表示パネル122で実現され、送出された画素のデータに基づき画像を表示する。
図8は、本実施の形態における表示処理の手順を説明するための図である。まず撮影画像取得部130は、イメージセンサから入力された撮影画像90を上の行から順に処理しバッファメモリ38に格納する。すると補正部144は、図4で説明したようにして接眼レンズの歪みを与えた表示画像92を生成する。ここで補正部144は、1フレーム分の撮影画像90が全てバッファメモリ38に格納されるのを待たず表示画像92の生成を開始する。
撮影画像90のうち、表示画像92の1行分の画素値を決定するのに必要な行数の画素のデータがバッファメモリ38に格納された時点で当該行の描画を開始すれば、表示までのレイテンシをより抑えることができる。例えばあるタイミングで、表示画像92のうちある行94の画素値が決定したら、それに基づく電気信号で表示パネル122の対応する行を駆動させる。以後、画像の下方へ向かい同様の処理を繰り返すことにより、表示画像92全体が表示されることになる。
図9は、歪みのない画像を加工して表示するまでの時間における、本実施の形態の有意性を説明するための図である。図の横方向は時間経過を表し、補正部144による表示画像の描画時間を実線矢印、表示パネル122への出力時間を破線矢印で示している。また「描画」や「出力」に併記する括弧内の記載は、フレーム番号mの1フレーム分の処理を(m)、フレーム番号mのうちn行目の処理を(m/n)としている。(a)は、1フレーム分の撮影画像が入力されてから表示パネルに出力する態様を比較として示している。
具体的には時刻t0から時刻t1にかけて、1フレーム目が描画されるとともにそのデータがメインメモリなどに格納される。時刻t1において、2フレーム目の描画が開始されるとともに、1フレーム目がメインメモリから順次読み出され表示パネル122へ出力される。それらの処理は時刻t2で完了し、続いて3フレーム目が描画されるとともに、2フレーム目が出力される。以後、同じ周期で各フレームが描画、出力される。この場合、1フレーム分の表示画像の描画開始から出力完了までに要する時間は、2フレーム分の出力周期と等しくなる。
(b)に示す本実施の形態によれば、1フレーム目の1行目のデータの描画が完了した時点で表示パネル122へ出力する。その間、2行目のデータが描画されるため、1行目のデータに続き、2行目のデータを表示パネル122へ出力できる。これを繰り返していくと、最後(n行目)のデータの描画が完了する時刻t1には、1つ前(n−1行目)のデータの出力までが終わっていることになる。以後のフレームも同様に、描画処理と並行に表示パネル122への出力を進捗させる。
結果として、1フレーム分の表示画像の描画開始から出力完了までに要する時間は、1フレーム分の出力周期に、1行分のデータの出力時間を加えた値となる。すなわち(a)の態様と比較すると、1フレーム分の出力周期に近いΔtだけ所要時間が短縮される。これにより、撮影画像を極めて低遅延で表示でき、ユーザには周囲の状況を違和感なく視認させることができる。
図10は、補正部144が撮影画像を補正する処理手順の例を説明するための図である。(a)は撮影画像、(b)は表示画像の平面を示している。撮影画像平面におけるS00、S01、S02・・・は変位ベクトルマップにおいて変位ベクトルを設定する位置を表す。例えば撮影画像平面の水平方向、垂直方向に離散的に(例えば8画素あるいは16画素ごとなど等間隔に)変位ベクトルを設定する。表示画像平面におけるD00、D01、D02、・・・はそれぞれ、S00、S01、S02、・・・の変位先の位置を表す。図では一例として、S00からD00への変位ベクトル(Δx,Δy)を白抜き矢印で示している。
補正部144は、変位ベクトルを設定する画素を頂点とする最小の三角形の単位で、撮影画像を表示画像にマッピングする。例えば撮影画像のS00、S01、S10を頂点とする三角形を、表示画像のD00、D01、D10を頂点とする三角形にマッピングする。ここで三角形の内部の画素は、D00、D01、D10との距離に応じて線形に、あるいはバイリニア、トライリニアなどにより補間した位置に変位させる。そして補正部144は、バッファメモリ38に格納された、補正前の撮影画像の対応する画素の値を読み出すことにより、表示画像の画素値を決定する。この際、撮影画像上の読み出し先の位置から所定範囲内にある複数の画素の値を、バイリニア、トライリニアなどにより補間することで表示画像の画素値を導出する。
これにより補正部144は、撮影画像の三角形の変位先である三角形の単位で、表示画像をラスタ順に描画していくことができる。解像度を調整する場合も同様に、最小の三角形ごとに画素をマッピングしていけばよい。色収差を補正する場合は、原色ごとに異なる変位ベクトルマップを用いることにより、変位先の三角形の位置や形状が微小量変化する。図11は、本実施の形態において、補正処理に必要なバッファメモリの容量について説明するための図である。同図は最も補正が必要なケースとして、補正後の画像が円形の場合を示している。
補正前の画像の垂直方向のサイズをh、補正後の画像の半径をr(=h/2)とする。補正によって変位する距離が最も大きいのは、補正前の画像における四隅の画素である。例えば左上の位置S00の画素は、補正によりレンズの径方向に変位し、補正後の画像の円周上の位置D00に表れる。このためS00の画素のデータは、位置D00の画素を描画するまで保持しておく必要がある。S00からD00までの垂直方向の距離w=r−r/21/2は、補正前の画像のサイズhのおよそ15%である。
例えば垂直方向が2160画素の撮影画像の場合、バッファメモリ38にはその15%の、324行分のデータを格納する領域が必要となる。またS00が撮影されてからD00が出力されるまでに要する時間は距離wに比例する。例えばフレームレートを120fpsとすると、撮影から出力までの遅延時間は1.25msecとなる。ただしこれらの値はあくまで最大値であり、一般的にはこれより小さい容量、遅延時間ですむ。また図3の矢印Bの経路と比較すると処理遅延時間を大幅に削減できる。なおバッファメモリ38にはこのほか、補正処理のための領域や、解像度を上げる場合の画素の追加分の領域なども必要となる。
いずれにしろ、本実施の形態では撮影画像の1フレーム分のデータを取得する前に、順次補正処理を施し表示パネル122に出力するため、極めて小さい遅延時間での表示が可能となる。また必要なメモリ容量を1フレーム分のデータサイズより格段に小さくできるため、SRAM(Static Random Access Memory)など小容量のバッファメモリを補正回路36から近い位置に搭載することが可能となり、データ伝送のための時間や消費電力を抑えることができる。
なおこれまで述べた態様は、画像処理装置128が撮影画像に必要な補正を施し表示させることに着目していたが、コンテンツ処理装置200から送信された画像を表示に含める場合もおよそ同様の構成で実現できる。例えばクラウドサーバなどのコンテンツ処理装置200において圧縮符号化されストリーミング転送されたデータを、画像処理装置128が復号伸張し、撮影画像と同様に補正し出力してよい。このときコンテンツ処理装置200および画像処理装置128は、フレーム平面を分割してなる単位領域ごとに圧縮符号化、復号伸張、動き補償を行ってよい。
ここで単位領域は、例えば画素の1行分、2行分など、所定行数ごとに横方向に分割してなる領域、あるいは、16×16画素、64×64画素など、縦横双方向に分割してなる矩形領域などとする。コンテンツ処理装置200および画像処理装置128はそれぞれ、単位領域分の処理対象のデータが取得される都度、圧縮符号化処理および復号伸張処理を開始し、処理後のデータを当該単位領域ごとに出力する。これにより、コンテンツ処理装置200から送信された画像を表示に含める場合であっても、表示までの遅延時間をより短縮させることができる。
図12は、色収差補正として変位ベクトルに含める要素の例を説明するための図である。図示するように表示パネル122は、赤(R)、緑(G)、青(B)の発光素子の組み合わせにより画素を形成する。図では1つの画素70を拡大して示している。ただし発光素子の配列は表示パネルによって様々である。表示画像のデータが表す画素値は、画素70の領域全体に対し与えられる赤、緑、青の輝度値であるが、厳密には当該画素領域の中心72における像の色を表す。
しかし図示する配列の場合、赤の輝度は本来、画素領域の中心72より微小量、左にずれた位置74での像の色によって定まる。したがって、表示画像のうち赤の成分の画像を微小量右にずらすことにより、赤の輝度に左側の画素の値も反映させる。同様に、青の輝度は本来、画素領域の中心72より微小量、右にずれた位置76での像の色によって定まる。したがって、表示画像のうち青の成分の画像を微小量左にずらすことにより、青の輝度に右側の画素の値も反映させる。
これにより、画像平面上の位置と、そこに表れる色の情報をサブピクセル単位で正確に表すことができる。上述のように画素を構成する発光素子の色の配列は表示パネルによって様々であるため、当該配列を踏まえて変位ベクトルを算出する。色収差の補正としてはこのほか、式1を用いたレンズ歪みのための補正において、接眼レンズの歪み係数を色ごとに異ならせたときの変位の差分を含める。すなわち光の波長による屈折率の差に依存して、レンズに対する軸上色収差や倍率色収差が発生し像に色ずれを発生させる。変位ベクトルにはこの色ずれを補正するための成分を含める。
なおヘッドマウントディスプレイ100が備える接眼レンズは一般的な凸レンズ以外にフレネルレンズでもよい。フレネルレンズは薄型化が可能な反面、解像度の低下や同心円状に視野周辺部にいくほど画像歪みが発生しやすく、輝度が非線形に変わり得る。この非線形な同心円状の輝度変化は、赤、緑、青のそれぞれに別の特性を持ち得る(例えば”ディストーション”、エドモンド・オプティクス技術資料、[online]、インターネットURL:https://www.edmundoptics.jp/resources/application-notes/imaging/distortion/参照)。そこで変位ベクトルには、これを色ごとに補正する成分を含めてもよい。
また表示パネル122として液晶パネルを採用した場合、高解像度化が可能な反面、反応速度が遅い。有機ELパネルを採用した場合は反応速度が速い反面、高解像度化が難しく、また黒色領域とその周辺で色にじみが発生するBlack Smearingと呼ばれる現象が生じ得る。補正部144は上述したレンズ歪みに加え、このような接眼レンズや表示パネルによる様々な悪影響を解消するように補正を行ってもよい。この場合、補正部144は接眼レンズの特性とともに表示パネル122の特性を内部で保持する。例えば液晶パネルの場合、補正部144はフレーム間に黒い画像を挿入することにより液晶をリセットし、反応速度を向上させる。また有機ELパネルの場合、補正部144は輝度値や、ガンマ補正におけるガンマ値にオフセットをかけBlack Smearingによる色にじみを目立ちにくくする。
図13は、変位ベクトルマップ記憶部140(変位ベクトルマップ用メモリ40)に格納するデータを模式的に示している。(a)に示す変位ベクトルマップ用メモリ40aは、赤、緑、青に対する変位ベクトルマップ80を格納する。この変位ベクトルマップ80は、撮影画像から表示画像(あるいはその左右の領域の画像)への画素の変位を表す。補正部144は、それらの変位ベクトルマップ80を参照し、撮影画像の赤、緑、青の成分の画像をそれぞれ補正して表示画像を生成する。
(b)に示す変位ベクトルマップ用メモリ40bは、特定色(図では緑)の変位ベクトルマップ82と、当該変位ベクトルマップ82が表す変位ベクトルとその他の色(図では赤および青)の変位ベクトルとの差分ベクトルの分布を表す差分ベクトルマップ84を格納する。すなわち差分ベクトルマップ84は、赤の変位ベクトルから緑の変位ベクトルを減算した赤用の差分ベクトル、青の変位ベクトルから緑の変位ベクトルを減算した青用の差分ベクトルを、画像平面に表したデータである。
この場合、補正部144はまず、これから処理する画素の補正に必要な、緑用の変位ベクトルマップ82の一部と、それに対応する赤用および青用の差分ベクトルマップ84の一部も参照し、赤、緑、青がそろった変位ベクトルマップ80の一部相当を動的に生成する。そして補正部144は、動的に生成した変位ベクトル値に基づいて画像の補正を行う。
もしくは、補正部144はまず、変位ベクトルマップ82を参照して、撮影画像の赤、緑、青の成分の画像を補正する。そして補正部144は、補正後の画像のうち赤および青の成分の画像を、赤用および青用の差分ベクトルマップ84を参照してそれぞれ補正することにより、最終的な表示画像を生成する。
ただし色収差補正は赤、緑、青の画像が適切な分だけ相対的にずれていればよいため、最初に補正する際に参照する変位ベクトルマップの色は限定されない。そして差分ベクトルマップは、当該色以外の2色に対し生成すればよい。(b)に示す1つの変位ベクトルマップ82および差分ベクトルマップ84の構成は、(a)に示す3つの変位ベクトルマップ80よりデータ量を削減でき、メモリ容量を節約できる。
以上述べた本実施の形態によれば、カメラを備えたヘッドマウントディスプレイにおいて、コンテンツ処理装置から送信された画像を表示させる経路と別に、撮影画像をヘッドマウントディスプレイ内で処理して表示させる経路を設ける。これによりコンテンツの画像を表示していない期間などに、容易に低遅延の撮影画像を表示できる。結果として、ヘッドマウントディスプレイを装着したままでも、装着していないときと同様に周囲の状況を確認することができ、利便性、安全性を高めることができる。
また本実施の形態では、カメラのレンズによる歪みの除去、接眼レンズのための歪みの付加、解像度の調整、色収差補正など、必要な補正要素による画素の変位を画像平面に表した変位ベクトルマップにより補正を一度に行う。当該補正は画素ごとに独立した処理が可能なため、撮影から表示までを画素列単位などで並行して行える。結果として、カメラから表示パネルへの経路短縮に加え、補正処理に要する時間自体を短縮できる。また1フレーム分のデータを溜めてから出力する場合と比較し、メモリ容量とともに、データ伝送のための消費電力も節約できる。
コンテンツ処理装置から送信された画像を表示対象に含める場合も、撮影画像に対する処理はヘッドマウントディスプレイ内で完結させる。これにより、撮影画像のデータをコンテンツ処理装置に送信せずとも、高品質な合成画像を表示できる。結果として表示結果に影響を与えることなく、上述と同様の効果を得ることができる。さらに撮影画像にコンテンツ処理装置からの画像を合成するモードと合成しないモードを、最小限の変更で容易に切り替えられる。
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
30 入出力インターフェース、 32 CPU、 36 補正回路、 38 バッファメモリ、 40 変位ベクトルマップ用メモリ、 42 イメージ信号処理回路、 44 ディスプレイコントローラ、 110 ステレオカメラ、 120 画像処理用集積回路、 122 表示パネル、 128 画像処理装置、 130 撮影画像取得部、 140 変位ベクトルマップ記憶部、 142 部分画像記憶部、 144 補正部、 146 データ転送制御部、 148 画像表示制御部、 200 コンテンツ処理装置。

Claims (15)

  1. 撮影画像のデータを取得する撮影画像取得部と、
    記憶部に格納された、前記撮影画像を表示画像に補正する際に必要な画素の変位量および変位方向を表す変位ベクトルを画像平面に表した変位ベクトルマップを参照して、または前記変位ベクトルを計算して、前記撮影画像を補正する補正部と、
    補正された画像を表示パネルに表示させる画像表示制御部と、
    を備えたことを特徴とする画像処理装置。
  2. 前記変位ベクトルは、撮像装置のレンズによる第1の歪みを解消するのに必要な変位ベクトルに、接眼レンズを介して鑑賞される表示画像に与えるべき第2の歪みを付加するのに必要な変位ベクトルを加算してなる変位ベクトルを含み、
    前記補正部は、前記第1の歪みを有する撮影画像を前記第2の歪みを有する画像に補正することを特徴とする請求項1に記載の画像処理装置。
  3. 前記変位ベクトルは、前記撮影画像を前記表示パネルの画面サイズに合わせるのに必要な変位ベクトルを含み、
    前記補正部は、前記撮影画像を前記表示パネルの画面サイズに補正することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記補正部は、前記表示パネルが表す原色ごとに異なる前記変位ベクトルに基づき前記撮影画像を補正することを特徴とする請求項1から3のいずれかに記載の画像処理装置。
  5. 前記記憶部は、前記表示パネルが表す原色のうち1つの色に対する前記変位ベクトルマップと、当該変位ベクトルマップが表す変位ベクトルと他の色に必要な変位ベクトルとの差分を表す差分ベクトルを画像平面に表した差分ベクトルマップと、を格納し、
    前記補正部は、前記変位ベクトルマップを参照して前記撮影画像の各色成分を補正し、前記差分ベクトルマップを参照して前記他の色の成分をさらに補正することを特徴とする請求項1から3のいずれかに記載の画像処理装置。
  6. 前記補正部は、補正してなる画像のデータを、画素値の決定とともに順次前記画像表示制御部に供給することを特徴とする請求項1から5のいずれかに記載の画像処理装置。
  7. 前記補正部は、前記変位ベクトルマップにおいて変位ベクトルが設定されている離散的な位置の画素の変位先を求めたうえ、その中間にある画素の変位先を、先に変位先を求めた画素を補間することにより求めることを特徴とする請求項1から6のいずれかに記載の画像処理装置。
  8. 前記補正部が補正により生成した画素のデータを、生成された順に格納する部分画像記憶部と、
    前記撮影画像の全画素数より少ない所定数の画素のデータが前記部分画像記憶部に格納される都度、当該データが送出されるように制御するデータ転送制御部と、
    をさらに備えたことを特徴とする請求項1から7のいずれかに記載の画像処理装置。
  9. 前記補正部は、前記表示画像の1行分の画素値を決定するのに必要な行数の画素のデータが取得された時点で、当該行のデータの生成を開始することを特徴とする請求項8に記載の画像処理装置。
  10. 前記補正部はさらに、ユーザの瞳孔間距離および前記表示パネルとユーザの目の距離の少なくともいずれかに基づき前記撮影画像を補正することを特徴とする請求項1から9のいずれかに記載の画像処理装置。
  11. 請求項1から9のいずれかに記載の画像処理装置と、
    前記撮影画像取得部に撮影画像を供給する撮像装置と、
    前記表示パネルと、
    を備えたことを特徴とするヘッドマウントディスプレイ。
  12. 前記画像処理装置は、外部の装置から送信された合成用画像を、前記補正部による補正後の画像に合成することを特徴とする請求項11に記載のヘッドマウントディスプレイ。
  13. 前記画像処理装置は、前記撮影画像を解析しその結果を前記外部の装置に送信し、
    前記合成用画像は、当該結果に基づき生成されることを特徴とする請求項12に記載のヘッドマウントディスプレイ。
  14. 撮影画像のデータを取得するステップと、
    前記撮影画像を表示画像に補正する際に必要な画素の変位量および変位方向を表す変位ベクトルを、画像平面に表した変位ベクトルマップをメモリから読み出し、それを参照して、または前記変位ベクトルを計算して、前記撮影画像を補正するステップと、
    補正された画像を表示パネルに表示させるステップと、
    を含むことを特徴とする、画像処理装置による画像表示方法。
  15. 撮影画像のデータを取得する機能と、
    記憶部に格納された、前記撮影画像を表示画像に補正する際に必要な画素の変位量および変位方向を表す変位ベクトルを画像平面に表した変位ベクトルマップを参照して、または前記変位ベクトルを計算して、前記撮影画像を補正する機能と、
    補正された画像を表示パネルに表示させる機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。
JP2019185338A 2019-03-29 2019-10-08 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 Active JP7429515B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/823,575 US11143874B2 (en) 2019-03-29 2020-03-19 Image processing apparatus, head-mounted display, and image displaying method
US17/463,792 US11614627B2 (en) 2019-03-29 2021-09-01 Image processing apparatus, head-mounted display, and image displaying method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019068185 2019-03-29
JP2019068185 2019-03-29

Publications (2)

Publication Number Publication Date
JP2020167657A true JP2020167657A (ja) 2020-10-08
JP7429515B2 JP7429515B2 (ja) 2024-02-08

Family

ID=72714664

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019185338A Active JP7429515B2 (ja) 2019-03-29 2019-10-08 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法

Country Status (1)

Country Link
JP (1) JP7429515B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112021005154T5 (de) 2020-10-02 2023-08-10 Hamamatsu Photonics K.K. Halbleiterlaserelement

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5094430B2 (ja) 2008-01-10 2012-12-12 キヤノン株式会社 画像処理方法、画像処理装置、システム
US9740007B2 (en) 2012-03-22 2017-08-22 Sony Corporation Display device, image processing device and image processing method, and computer program
JP2014116746A (ja) 2012-12-07 2014-06-26 Samsung R&D Institute Japan Co Ltd 撮像装置、歪補正回路及び歪補正方法
JP6711670B2 (ja) 2016-04-04 2020-06-17 キヤノン株式会社 情報処理装置、画像表示装置、画像表示システム、および情報処理方法
JP6509170B2 (ja) 2016-09-20 2019-05-08 キヤノン株式会社 画像表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112021005154T5 (de) 2020-10-02 2023-08-10 Hamamatsu Photonics K.K. Halbleiterlaserelement

Also Published As

Publication number Publication date
JP7429515B2 (ja) 2024-02-08

Similar Documents

Publication Publication Date Title
JP5388534B2 (ja) 画像処理装置およびその方法、頭部装着型ディスプレイ、プログラム、記録媒体
US20140064607A1 (en) Systems, methods, and computer program products for low-latency warping of a depth map
KR20210130773A (ko) 이미지 처리 방법 및 머리 장착형 디스플레이 디바이스
KR20160149252A (ko) 시선 위치에 기초한 안정 평면 결정
JP7358448B2 (ja) 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法
US11892637B2 (en) Image generation apparatus, head-mounted display, content processing system, and image display method
JP7150134B2 (ja) ヘッドマウントディスプレイおよび画像表示方法
US20230236425A1 (en) Image processing method, image processing apparatus, and head-mounted display
WO2017086244A1 (ja) 画像処理装置、情報処理装置、および画像処理方法
US20210063732A1 (en) Image processing apparatus, method for controlling the same, non-transitory computer-readable storage medium, and system
US11614627B2 (en) Image processing apparatus, head-mounted display, and image displaying method
JP7142762B2 (ja) 表示装置および画像表示方法
JP7429515B2 (ja) 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
JP7365184B2 (ja) 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法
US11106042B2 (en) Image processing apparatus, head-mounted display, and image displaying method
WO2022054118A1 (ja) 画像表示システム、ヘッドマウントディスプレイ、および画像表示方法
CN114020150A (zh) 图像显示方法、装置、电子设备及介质
JP7365183B2 (ja) 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法
JP2020167660A (ja) 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム
WO2023140033A1 (ja) 表示制御装置、ヘッドマウントディスプレイ、および表示制御方法
WO2018084051A1 (ja) 情報処理装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法
JP2022113551A (ja) 画像表示システム、表示装置、および画像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231023

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240129

R150 Certificate of patent or registration of utility model

Ref document number: 7429515

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150