JP2020167657A - 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 - Google Patents
画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 Download PDFInfo
- Publication number
- JP2020167657A JP2020167657A JP2019185338A JP2019185338A JP2020167657A JP 2020167657 A JP2020167657 A JP 2020167657A JP 2019185338 A JP2019185338 A JP 2019185338A JP 2019185338 A JP2019185338 A JP 2019185338A JP 2020167657 A JP2020167657 A JP 2020167657A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- displacement vector
- displacement
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 113
- 238000000034 method Methods 0.000 title claims description 32
- 238000006073 displacement reaction Methods 0.000 claims abstract description 131
- 239000013598 vector Substances 0.000 claims abstract description 116
- 238000012937 correction Methods 0.000 claims abstract description 85
- 230000006870 function Effects 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 5
- 210000001747 pupil Anatomy 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 239000002131 composite material Substances 0.000 claims description 2
- 238000004590 computer program Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 20
- 230000033001 locomotion Effects 0.000 description 11
- 230000004075 alteration Effects 0.000 description 10
- 210000003128 head Anatomy 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000036544 posture Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000036632 reaction speed Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Abstract
Description
1.モーションセンサの出力値やSLAMの計算結果に基づくユーザの姿勢や向いている方向
2.ユーザ固有の左右の瞳孔間距離(目と目の間の距離)
3.ヘッドマウントディスプレイ100の装着機構部104(装着バンド106)を、ユーザの頭や目の関係に基づき調整した結果として定まるパラメータ
Claims (15)
- 撮影画像のデータを取得する撮影画像取得部と、
記憶部に格納された、前記撮影画像を表示画像に補正する際に必要な画素の変位量および変位方向を表す変位ベクトルを画像平面に表した変位ベクトルマップを参照して、または前記変位ベクトルを計算して、前記撮影画像を補正する補正部と、
補正された画像を表示パネルに表示させる画像表示制御部と、
を備えたことを特徴とする画像処理装置。 - 前記変位ベクトルは、撮像装置のレンズによる第1の歪みを解消するのに必要な変位ベクトルに、接眼レンズを介して鑑賞される表示画像に与えるべき第2の歪みを付加するのに必要な変位ベクトルを加算してなる変位ベクトルを含み、
前記補正部は、前記第1の歪みを有する撮影画像を前記第2の歪みを有する画像に補正することを特徴とする請求項1に記載の画像処理装置。 - 前記変位ベクトルは、前記撮影画像を前記表示パネルの画面サイズに合わせるのに必要な変位ベクトルを含み、
前記補正部は、前記撮影画像を前記表示パネルの画面サイズに補正することを特徴とする請求項1または2に記載の画像処理装置。 - 前記補正部は、前記表示パネルが表す原色ごとに異なる前記変位ベクトルに基づき前記撮影画像を補正することを特徴とする請求項1から3のいずれかに記載の画像処理装置。
- 前記記憶部は、前記表示パネルが表す原色のうち1つの色に対する前記変位ベクトルマップと、当該変位ベクトルマップが表す変位ベクトルと他の色に必要な変位ベクトルとの差分を表す差分ベクトルを画像平面に表した差分ベクトルマップと、を格納し、
前記補正部は、前記変位ベクトルマップを参照して前記撮影画像の各色成分を補正し、前記差分ベクトルマップを参照して前記他の色の成分をさらに補正することを特徴とする請求項1から3のいずれかに記載の画像処理装置。 - 前記補正部は、補正してなる画像のデータを、画素値の決定とともに順次前記画像表示制御部に供給することを特徴とする請求項1から5のいずれかに記載の画像処理装置。
- 前記補正部は、前記変位ベクトルマップにおいて変位ベクトルが設定されている離散的な位置の画素の変位先を求めたうえ、その中間にある画素の変位先を、先に変位先を求めた画素を補間することにより求めることを特徴とする請求項1から6のいずれかに記載の画像処理装置。
- 前記補正部が補正により生成した画素のデータを、生成された順に格納する部分画像記憶部と、
前記撮影画像の全画素数より少ない所定数の画素のデータが前記部分画像記憶部に格納される都度、当該データが送出されるように制御するデータ転送制御部と、
をさらに備えたことを特徴とする請求項1から7のいずれかに記載の画像処理装置。 - 前記補正部は、前記表示画像の1行分の画素値を決定するのに必要な行数の画素のデータが取得された時点で、当該行のデータの生成を開始することを特徴とする請求項8に記載の画像処理装置。
- 前記補正部はさらに、ユーザの瞳孔間距離および前記表示パネルとユーザの目の距離の少なくともいずれかに基づき前記撮影画像を補正することを特徴とする請求項1から9のいずれかに記載の画像処理装置。
- 請求項1から9のいずれかに記載の画像処理装置と、
前記撮影画像取得部に撮影画像を供給する撮像装置と、
前記表示パネルと、
を備えたことを特徴とするヘッドマウントディスプレイ。 - 前記画像処理装置は、外部の装置から送信された合成用画像を、前記補正部による補正後の画像に合成することを特徴とする請求項11に記載のヘッドマウントディスプレイ。
- 前記画像処理装置は、前記撮影画像を解析しその結果を前記外部の装置に送信し、
前記合成用画像は、当該結果に基づき生成されることを特徴とする請求項12に記載のヘッドマウントディスプレイ。 - 撮影画像のデータを取得するステップと、
前記撮影画像を表示画像に補正する際に必要な画素の変位量および変位方向を表す変位ベクトルを、画像平面に表した変位ベクトルマップをメモリから読み出し、それを参照して、または前記変位ベクトルを計算して、前記撮影画像を補正するステップと、
補正された画像を表示パネルに表示させるステップと、
を含むことを特徴とする、画像処理装置による画像表示方法。 - 撮影画像のデータを取得する機能と、
記憶部に格納された、前記撮影画像を表示画像に補正する際に必要な画素の変位量および変位方向を表す変位ベクトルを画像平面に表した変位ベクトルマップを参照して、または前記変位ベクトルを計算して、前記撮影画像を補正する機能と、
補正された画像を表示パネルに表示させる機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/823,575 US11143874B2 (en) | 2019-03-29 | 2020-03-19 | Image processing apparatus, head-mounted display, and image displaying method |
US17/463,792 US11614627B2 (en) | 2019-03-29 | 2021-09-01 | Image processing apparatus, head-mounted display, and image displaying method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019068185 | 2019-03-29 | ||
JP2019068185 | 2019-03-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020167657A true JP2020167657A (ja) | 2020-10-08 |
JP7429515B2 JP7429515B2 (ja) | 2024-02-08 |
Family
ID=72714664
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019185338A Active JP7429515B2 (ja) | 2019-03-29 | 2019-10-08 | 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7429515B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112021005154T5 (de) | 2020-10-02 | 2023-08-10 | Hamamatsu Photonics K.K. | Halbleiterlaserelement |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5094430B2 (ja) | 2008-01-10 | 2012-12-12 | キヤノン株式会社 | 画像処理方法、画像処理装置、システム |
US9740007B2 (en) | 2012-03-22 | 2017-08-22 | Sony Corporation | Display device, image processing device and image processing method, and computer program |
JP2014116746A (ja) | 2012-12-07 | 2014-06-26 | Samsung R&D Institute Japan Co Ltd | 撮像装置、歪補正回路及び歪補正方法 |
JP6711670B2 (ja) | 2016-04-04 | 2020-06-17 | キヤノン株式会社 | 情報処理装置、画像表示装置、画像表示システム、および情報処理方法 |
JP6509170B2 (ja) | 2016-09-20 | 2019-05-08 | キヤノン株式会社 | 画像表示装置 |
-
2019
- 2019-10-08 JP JP2019185338A patent/JP7429515B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112021005154T5 (de) | 2020-10-02 | 2023-08-10 | Hamamatsu Photonics K.K. | Halbleiterlaserelement |
Also Published As
Publication number | Publication date |
---|---|
JP7429515B2 (ja) | 2024-02-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5388534B2 (ja) | 画像処理装置およびその方法、頭部装着型ディスプレイ、プログラム、記録媒体 | |
US20140064607A1 (en) | Systems, methods, and computer program products for low-latency warping of a depth map | |
KR20210130773A (ko) | 이미지 처리 방법 및 머리 장착형 디스플레이 디바이스 | |
KR20160149252A (ko) | 시선 위치에 기초한 안정 평면 결정 | |
JP7358448B2 (ja) | 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法 | |
US11892637B2 (en) | Image generation apparatus, head-mounted display, content processing system, and image display method | |
JP7150134B2 (ja) | ヘッドマウントディスプレイおよび画像表示方法 | |
US20230236425A1 (en) | Image processing method, image processing apparatus, and head-mounted display | |
WO2017086244A1 (ja) | 画像処理装置、情報処理装置、および画像処理方法 | |
US20210063732A1 (en) | Image processing apparatus, method for controlling the same, non-transitory computer-readable storage medium, and system | |
US11614627B2 (en) | Image processing apparatus, head-mounted display, and image displaying method | |
JP7142762B2 (ja) | 表示装置および画像表示方法 | |
JP7429515B2 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 | |
JP7365184B2 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 | |
US11106042B2 (en) | Image processing apparatus, head-mounted display, and image displaying method | |
WO2022054118A1 (ja) | 画像表示システム、ヘッドマウントディスプレイ、および画像表示方法 | |
CN114020150A (zh) | 图像显示方法、装置、电子设备及介质 | |
JP7365183B2 (ja) | 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法 | |
JP2020167660A (ja) | 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム | |
WO2023140033A1 (ja) | 表示制御装置、ヘッドマウントディスプレイ、および表示制御方法 | |
WO2018084051A1 (ja) | 情報処理装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法 | |
JP2022113551A (ja) | 画像表示システム、表示装置、および画像表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220824 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230630 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230829 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7429515 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |