JP2020167600A - 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ - Google Patents
画像処理方法、画像処理装置、およびヘッドマウントディスプレイ Download PDFInfo
- Publication number
- JP2020167600A JP2020167600A JP2019068186A JP2019068186A JP2020167600A JP 2020167600 A JP2020167600 A JP 2020167600A JP 2019068186 A JP2019068186 A JP 2019068186A JP 2019068186 A JP2019068186 A JP 2019068186A JP 2020167600 A JP2020167600 A JP 2020167600A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixels
- pixel
- data
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 120
- 238000003672 processing method Methods 0.000 title claims description 22
- 238000006073 displacement reaction Methods 0.000 claims abstract description 58
- 239000013598 vector Substances 0.000 claims abstract description 40
- 238000012937 correction Methods 0.000 claims description 47
- 238000010191 image analysis Methods 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 claims 2
- 238000003702 image correction Methods 0.000 abstract description 15
- 238000000034 method Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 17
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 7
- 238000007781 pre-processing Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000012546 transfer Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000036544 posture Effects 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 230000002194 synthesizing effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0112—Head-up displays characterised by optical features comprising device for genereting colour display
- G02B2027/0116—Head-up displays characterised by optical features comprising device for genereting colour display comprising devices for correcting chromatic aberration
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
R’=(R1+R3)/2
Gr’=(Gr1+Gr3)/2
Gb’=(Gb1+Gb3)/2
B’=(B1+B3)/2
R’=(R1+R2)/2
Gr’=(Gr1+Gr2)/2
Gb’=(Gb1+Gb2)/2
B’=(B1+B2)/2
R’=(R1+R2+R3+R4)/4
Gr’=(Gr1+Gr2+Gr3+Gr4)/4
Gb’=(Gb1+Gb2+Gb3+Gb4)/4
B’=(B1+B2+B3+B4)/4
Claims (20)
- 画像処理装置が、
イメージセンサが有する画素のうち、その電荷を加算して読み出すべき画素の分布を指定するステップと、
前記指定により、電荷を読み出す単位である領域の面積が位置によって異なる撮影画像のデータを取得するステップと、
を含むことを特徴とする画像処理方法。 - 前記撮影画像の画素を均等に配列してなる仮想的な画像を、前記撮影画像において1画素が表す領域面積を等しくした表示画像に補正するステップをさらに含むことを特徴とする請求項1に記載の画像処理方法。
- 補正した画像を表示パネルに表示させるステップをさらに含むことを特徴とする請求項2に記載の画像処理方法。
- 前記補正するステップは、前記撮影画像において1画素が表す領域面積を等しくした表示画像に補正するために必要な画素の変位量および変位方向を表す変位ベクトルを、画像平面に表した変位ベクトルマップを参照して、または前記変位ベクトルを計算して、補正することを特徴とする請求項2または3に記載の画像処理方法。
- 前記補正するステップは、前記変位ベクトルにより画素を変位させたうえ補間することにより、画素数を増加させることを特徴とする請求項4に記載の画像処理方法。
- 前記補正するステップは、前記取得するステップで取得した撮影画像のデータのうち、1画素が表す最小の領域の面積およびアスペクト比に、全ての画素の領域を合わせることを特徴とする請求項2から5のいずれかに記載の画像処理方法。
- 前記撮影画像のデータにおいて、隣接する複数の画素が表す領域を1つの画素値で表すことにより画素数を減少させて、1画素が表す領域面積が等しい、前記表示画像と異なる画像を生成するステップをさらに含むことを特徴とする請求項2から6のいずれかに記載の画像処理方法。
- 前記生成するステップは、取得した撮影画像のデータにおいて1画素が表す領域面積を異ならせた演算と同じ演算により、隣接する複数の画素が表す領域を1つの画素値で表すことを特徴とする請求項7に記載の画像処理方法。
- 前記生成するステップは、取得した撮影画像のデータのうち、1画素が表す最大の領域の面積およびアスペクト比に、全ての画素の領域を合わせることを特徴とする請求項7に記載の画像処理方法。
- 前記補正するステップは、デモザイク後の撮影画像から前記表示画像を生成し、
前記生成するステップは、デモザイク前の撮影画像の画素数を減少させることを特徴とする請求項7から9のいずれかに記載の画像処理方法。 - 前記変位ベクトルは、撮像装置のレンズによる第1の歪みを解消するのに必要な変位ベクトルと、接眼レンズを介して鑑賞される表示画像に与えるべき第2の歪みを付加するのに必要な変位ベクトルを含み、
前記補正するステップはさらに、前記第1の歪みを解消し、前記第2の歪みを付加する補正を行うことを特徴とする請求項4または5に記載の画像処理方法。 - 前記取得するステップは、水平同期信号が示すタイミングで撮像装置から前記撮影画像の各行のデータを取得し、前記撮影画像の画素の行数に応じて、前記水平同期信号のアクティブ期間のうちデータを取得しない期間を設けることを特徴とする請求項1から11のいずれかに記載の画像処理方法。
- 前記取得するステップは、水平同期信号が示すタイミングで撮像装置から前記撮影画像の各行のデータを取得し、各行の画素の数に応じて、ピクセルクロックのアクティブ期間のうちデータを取得しない期間を設けることを特徴とする請求項1から11のいずれかに記載の画像処理方法。
- 前記取得するステップは、水平同期信号が示すタイミングで撮像装置から前記撮影画像の各行のデータを取得し、前記撮影画像の画素の行数に応じて、垂直ブランキング期間を調整することを特徴とする請求項1から11のいずれかに記載の画像処理方法。
- 前記指定するステップは、前記撮影画像のうち所定の対象物の像以外の領域、ヘッドマウントディスプレイにおいて表示される画像の周縁から内側に所定範囲の領域、ユーザの注視点から所定距離以上離れた領域、撮像装置が備える魚眼レンズにおいてレンズ歪み率が所定値以上低い領域、および前記撮像装置が備える広角レンズにおいてレンズ歪みが高い領域、の少なくともいずれかを、電荷を加算して読み出すべき画素の領域として指定することを特徴とする請求項1から12のいずれかに記載の画像処理方法。
- 前記補正するステップは、補正後の画素のデータを順にメモリに格納し、
前記表示させるステップは、前記表示画像の全画素数より少ない所定数の画素のデータが前記メモリに格納される都度、当該データを前記表示パネルに出力することを特徴とする請求項3に記載の画像処理方法。 - 前記補正するステップは、前記取得するステップが取得した、各画素が1色の情報を有する撮影画像の各画素を、前記撮影画像において1画素が表す領域面積を等しくした表示画像に補正するために必要な画素の変位量および変位方向を表す変位ベクトルにより色ごとに変位させたうえ補間することにより、前記補正とともにデモザイク処理を実施することを特徴とする請求項2に記載の画像処理方法。
- イメージセンサが有する画素のうち、その電荷を加算して読み出すべき画素の分布を指定する画像解析部と、
前記指定により、電荷を読み出す単位である領域の面積が位置によって異なる撮影画像のデータを取得する信号処理部と、
を備えたことを特徴とする画像処理装置。 - 請求項18に記載の画像処理装置と、
前記信号処理部に撮影画像を供給する前記イメージセンサと、
前記撮影画像を用いて前記画像処理装置が生成した画像を表示する表示パネルと、
を備えたことを特徴とするヘッドマウントディスプレイ。 - イメージセンサが有する画素のうち、その電荷を加算して読み出すべき画素の分布を指定する機能と、
前記指定により、電荷を読み出す単位である領域の面積が位置によって異なる撮影画像のデータを取得する機能と、
をコンピュータに実現させることを特徴とするコンピュータプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019068186A JP7261642B2 (ja) | 2019-03-29 | 2019-03-29 | 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ |
US16/823,781 US11640058B2 (en) | 2019-03-29 | 2020-03-19 | Image processing method, image processing apparatus, and head-mounted display |
US18/121,292 US20230236425A1 (en) | 2019-03-29 | 2023-03-14 | Image processing method, image processing apparatus, and head-mounted display |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019068186A JP7261642B2 (ja) | 2019-03-29 | 2019-03-29 | 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020167600A true JP2020167600A (ja) | 2020-10-08 |
JP7261642B2 JP7261642B2 (ja) | 2023-04-20 |
Family
ID=72604092
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019068186A Active JP7261642B2 (ja) | 2019-03-29 | 2019-03-29 | 画像処理方法、画像処理装置、およびヘッドマウントディスプレイ |
Country Status (2)
Country | Link |
---|---|
US (2) | US11640058B2 (ja) |
JP (1) | JP7261642B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3776485B1 (en) * | 2018-09-26 | 2022-01-26 | Coherent Logix, Inc. | Any world view generation |
JP7468227B2 (ja) * | 2020-07-30 | 2024-04-16 | セイコーエプソン株式会社 | 虚像表示装置 |
US20230149786A1 (en) * | 2021-11-17 | 2023-05-18 | Sports Virtual Training Systems Inc. | Dynamic method and system for virtual reality play calling and player interactivity |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006085021A (ja) * | 2004-09-17 | 2006-03-30 | Fujitsu Ltd | 画像処理回路および画像処理方法 |
JP2010279063A (ja) * | 2010-07-23 | 2010-12-09 | Casio Computer Co Ltd | 電子カメラ |
JP2011129902A (ja) * | 2009-12-16 | 2011-06-30 | Samsung Electronics Co Ltd | イメージセンサーモジュール、その製造方法、及びそれを含むイメージ処理システム |
WO2013125138A1 (ja) * | 2012-02-22 | 2013-08-29 | ソニー株式会社 | 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム |
WO2013140697A1 (ja) * | 2012-03-22 | 2013-09-26 | ソニー株式会社 | 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム |
JP2015070476A (ja) * | 2013-09-30 | 2015-04-13 | 株式会社ニコン | 電子機器、電子機器の制御方法、及び制御プログラム |
JP2016063537A (ja) * | 2014-09-12 | 2016-04-25 | 株式会社ソニー・コンピュータエンタテインメント | 撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法 |
JP2018019191A (ja) * | 2016-07-27 | 2018-02-01 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2806781B1 (en) * | 2012-01-23 | 2018-03-21 | Washington University | Goggle imaging systems and methods |
KR101488074B1 (ko) * | 2013-02-04 | 2015-01-29 | 주식회사 동부하이텍 | 이미지 센서와 이를 이용한 비닝 이미지 생성 방법 |
US10410314B2 (en) * | 2017-04-27 | 2019-09-10 | Apple Inc. | Systems and methods for crossfading image data |
US20190220411A1 (en) * | 2018-01-17 | 2019-07-18 | Qualcomm Incorporated | Efficient partitioning for binning layouts |
US10902820B2 (en) * | 2018-04-16 | 2021-01-26 | Facebook Technologies, Llc | Display device with dynamic resolution enhancement |
-
2019
- 2019-03-29 JP JP2019068186A patent/JP7261642B2/ja active Active
-
2020
- 2020-03-19 US US16/823,781 patent/US11640058B2/en active Active
-
2023
- 2023-03-14 US US18/121,292 patent/US20230236425A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006085021A (ja) * | 2004-09-17 | 2006-03-30 | Fujitsu Ltd | 画像処理回路および画像処理方法 |
JP2011129902A (ja) * | 2009-12-16 | 2011-06-30 | Samsung Electronics Co Ltd | イメージセンサーモジュール、その製造方法、及びそれを含むイメージ処理システム |
JP2010279063A (ja) * | 2010-07-23 | 2010-12-09 | Casio Computer Co Ltd | 電子カメラ |
WO2013125138A1 (ja) * | 2012-02-22 | 2013-08-29 | ソニー株式会社 | 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム |
WO2013140697A1 (ja) * | 2012-03-22 | 2013-09-26 | ソニー株式会社 | 表示装置、画像処理装置及び画像処理方法、並びにコンピューター・プログラム |
JP2015070476A (ja) * | 2013-09-30 | 2015-04-13 | 株式会社ニコン | 電子機器、電子機器の制御方法、及び制御プログラム |
JP2016063537A (ja) * | 2014-09-12 | 2016-04-25 | 株式会社ソニー・コンピュータエンタテインメント | 撮像装置、情報処理装置、表示装置、情報処理システム、画像データ送出方法、および画像表示方法 |
JP2018019191A (ja) * | 2016-07-27 | 2018-02-01 | ソニーセミコンダクタソリューションズ株式会社 | 固体撮像素子、撮像装置、および、固体撮像素子の制御方法 |
Also Published As
Publication number | Publication date |
---|---|
US11640058B2 (en) | 2023-05-02 |
US20200310126A1 (en) | 2020-10-01 |
US20230236425A1 (en) | 2023-07-27 |
JP7261642B2 (ja) | 2023-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR20210130773A (ko) | 이미지 처리 방법 및 머리 장착형 디스플레이 디바이스 | |
WO2019171522A1 (ja) | 電子機器、ヘッドマウントディスプレイ、注視点検出器、および画素データ読み出し方法 | |
US20230236425A1 (en) | Image processing method, image processing apparatus, and head-mounted display | |
JP2019030007A (ja) | 複数のカメラを用いて映像を取得するための電子装置及びこれを用いた映像処理方法 | |
KR20130112574A (ko) | 확대된 영상의 화질을 개선하기 위한 장치 및 방법 | |
JP7150134B2 (ja) | ヘッドマウントディスプレイおよび画像表示方法 | |
US10349040B2 (en) | Storing data retrieved from different sensors for generating a 3-D image | |
US11892637B2 (en) | Image generation apparatus, head-mounted display, content processing system, and image display method | |
JP7358448B2 (ja) | 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法 | |
US11366315B2 (en) | Image processing apparatus, method for controlling the same, non-transitory computer-readable storage medium, and system | |
JP7365184B2 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 | |
US11614627B2 (en) | Image processing apparatus, head-mounted display, and image displaying method | |
JP7142762B2 (ja) | 表示装置および画像表示方法 | |
US20130343635A1 (en) | Image processing apparatus, image processing method, and program | |
US11106042B2 (en) | Image processing apparatus, head-mounted display, and image displaying method | |
JP7429515B2 (ja) | 画像処理装置、ヘッドマウントディスプレイ、および画像表示方法 | |
JP6932526B2 (ja) | 画像表示装置、画像表示方法及びプログラム | |
CN114257733A (zh) | 具有视点偏移的全向图像的图像处理的方法和系统 | |
JP2020167660A (ja) | 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム | |
JP6645949B2 (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
JP7365183B2 (ja) | 画像生成装置、ヘッドマウントディスプレイ、コンテンツ処理システム、および画像表示方法 | |
JP2019029952A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
RU2782312C1 (ru) | Способ обработки изображения и устройство отображения, устанавливаемое на голове | |
WO2023140033A1 (ja) | 表示制御装置、ヘッドマウントディスプレイ、および表示制御方法 | |
KR20060015460A (ko) | 입체 파노라마 화상 캡처 디바이스 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230410 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7261642 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |