JP7086392B2 - Image projection device and image projection method - Google Patents

Image projection device and image projection method Download PDF

Info

Publication number
JP7086392B2
JP7086392B2 JP2018186737A JP2018186737A JP7086392B2 JP 7086392 B2 JP7086392 B2 JP 7086392B2 JP 2018186737 A JP2018186737 A JP 2018186737A JP 2018186737 A JP2018186737 A JP 2018186737A JP 7086392 B2 JP7086392 B2 JP 7086392B2
Authority
JP
Japan
Prior art keywords
image
image data
reference position
unit
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018186737A
Other languages
Japanese (ja)
Other versions
JP2020056886A (en
Inventor
誠 鈴木
誠治 森野
千鶴 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
QD Laser Inc
Original Assignee
QD Laser Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by QD Laser Inc filed Critical QD Laser Inc
Priority to JP2018186737A priority Critical patent/JP7086392B2/en
Publication of JP2020056886A publication Critical patent/JP2020056886A/en
Application granted granted Critical
Publication of JP7086392B2 publication Critical patent/JP7086392B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Mechanical Optical Scanning Systems (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、画像投影装置及び画像投影方法に関する。 The present invention relates to an image projection device and an image projection method.

網膜投影型の画像投影装置は、入力された画像データに基づくレーザ光で利用者の網膜を走査し、利用者の網膜に画像を投影することで、利用者に画像を視認させる。 The retinal projection type image projection device scans the user's retina with a laser beam based on the input image data and projects the image on the user's retina to make the user visually recognize the image.

また、従来の網膜走査型の画像投影装置では、レーザ光を照射する画像出力部の解像度が決められており、この解像度に基づき画像データが利用者の網膜に投影される。この場合、網膜に投影される画像は、この解像度と対応した視力に応じた見え方で利用者に視認される。 Further, in the conventional retina scanning type image projection device, the resolution of the image output unit that irradiates the laser beam is determined, and the image data is projected on the user's retina based on this resolution. In this case, the image projected on the retina is visually recognized by the user with a visual acuity corresponding to this resolution.

特開2016-134668号公報Japanese Unexamined Patent Publication No. 2016-134668

網膜に投影された画像を、より良い視力に応じた見え方で利用者に視認させようとした場合、画像出力部の解像度を上げることが考えられる。しかしながら、画像出力部の解像度を上げようとすると、画像投影装置の光学系、画像のフォーマット、視野角によって制限を受けてしまう。 When the user tries to visually recognize the image projected on the retina in a way that corresponds to better visual acuity, it is conceivable to increase the resolution of the image output unit. However, when trying to increase the resolution of the image output unit, it is limited by the optical system of the image projection device, the image format, and the viewing angle.

開示の技術は、上述した事情に鑑みて成されたものであり、画像の見え方を向上させることを目的としている。 The disclosed technique is made in view of the above-mentioned circumstances, and aims to improve the appearance of the image.

開示の技術は、入力された画像データを記憶する記憶部と、前記画像データに対し、前記画像データが示す画像を、前記画像の画角を維持した状態で、基準位置から等間隔の幅の領域に分割し、前記基準位置から最も近い領域の幅を、前記等間隔の幅よりも広くすることで前記基準位置の前記画像を拡大し、前記基準位置から離れるにしたがって前記領域の幅が単調に減少させることで、前記画像を周辺部へ向かって縮小するように、補正を行う制御部と、レーザ光線を出射する光源部を有し、前記制御部による補正後の画像データに基づき、前記レーザ光線を2次元に走査し、利用者の網膜に前記補正後の画像データが示す画像を、マクスウェル視を利用して投影するレーザ照射部と、を有する画像投影装置である。
The disclosed technique is a storage unit that stores input image data, and an image indicated by the image data with respect to the image data, with a width of equal intervals from a reference position while maintaining the angle of view of the image. The image of the reference position is enlarged by dividing it into regions and making the width of the region closest to the reference position wider than the width of the equal intervals, and the width of the region becomes monotonous as the distance from the reference position increases. It has a control unit that corrects the image so as to reduce it toward the peripheral portion, and a light source unit that emits a laser beam. It is an image projection device having a laser irradiation unit that scans a laser beam in two dimensions and projects an image shown by the corrected image data on a user's retina using Maxwell vision .

画像の見え方を向上させることができる。 The appearance of the image can be improved.

第一の実施形態の画像投影装置のハードウェア構成を説明する図である。It is a figure explaining the hardware composition of the image projection apparatus of 1st Embodiment. 第一の実施形態の制御部の機能を説明する図である。It is a figure explaining the function of the control part of the 1st Embodiment. 第一の実施形態の画像投影装置の動作を説明するフローチャートである。It is a flowchart explaining the operation of the image projection apparatus of 1st Embodiment. 第一の実施形態における画像の補正を説明するフローチャートである。It is a flowchart explaining the correction of an image in 1st Embodiment. 第一の実施形態における画像の補正を説明する第一の図である。It is a 1st figure explaining the correction of an image in 1st Embodiment. 第一の実施形態における画像の補正を説明する第二の図である。It is a 2nd figure explaining the correction of an image in 1st Embodiment. 第一の実施形態における画像の補正を説明する第三の図である。It is a 3rd figure explaining the correction of an image in 1st Embodiment. 第二の実施形態の画像投影装置のハードウェア構成を説明する図である。It is a figure explaining the hardware composition of the image projection apparatus of the 2nd Embodiment. 第二の実施形態の制御部の機能を説明する図である。It is a figure explaining the function of the control part of the 2nd Embodiment. 第二の実施形態の基準位置の設定を説明する図である。It is a figure explaining the setting of the reference position of the 2nd Embodiment. 第二の実施形態の画像投影装置の動作を説明するフローチャートである。It is a flowchart explaining the operation of the image projection apparatus of 2nd Embodiment. 第三の実施形態の画像投影システムを説明する図である。It is a figure explaining the image projection system of the 3rd Embodiment. 投影する画像の解像度が低下する場合の処理を説明する図である。It is a figure explaining the process when the resolution of a projected image is lowered. 投影する画像の解像度が改善する場合の処理を説明する図である。It is a figure explaining the process when the resolution of a projected image is improved.

(第一の実施形態)
以下に図面を参照して、第一の実施形態について説明する。図1は、第一の実施形態の画像投影装置のハードウェア構成を説明する図である。
(First embodiment)
The first embodiment will be described below with reference to the drawings. FIG. 1 is a diagram illustrating a hardware configuration of the image projection device of the first embodiment.

本実施形態の画像投影装置100は、マクスウェル視を利用した網膜投影型ヘッドマウントディスプレイである。マクスウェル視を利用して、利用者の網膜に画像を投影するものである。マクスウェル視とは、画像データに基づく画像用光線を一旦瞳孔の中心で収束させてから網膜上に投影することで、人の水晶体の調節機能に影響されずに、人に画像データが示す画像を視認させる方法である。 The image projection device 100 of the present embodiment is a retinal projection type head-mounted display using Maxwell vision. An image is projected onto the user's retina using Maxwell vision. Maxwell vision is the process of converging an image ray based on image data at the center of the pupil and then projecting it onto the retina, so that the image shown by the image data to a person is displayed without being affected by the accommodation function of the human crystalline lens. This is a method of making it visible.

また、本実施形態の画像投影装置100は、例えば、一般的な眼鏡のような形状としたフレームを有するものであっても良いし、利用者の両眼を覆うゴーグルのような形状であっても良い。 Further, the image projection device 100 of the present embodiment may have a frame shaped like general eyeglasses, or may have a shape like goggles covering both eyes of the user. Is also good.

本実施形態の画像投影装置100は、通信部20、制御部30、記憶部40、レーザ出力制御部(光線出力制御部)50、レーザ照射部60、画像入力部70を有する。 The image projection device 100 of the present embodiment includes a communication unit 20, a control unit 30, a storage unit 40, a laser output control unit (ray output control unit) 50, a laser irradiation unit 60, and an image input unit 70.

通信部20は、画像投影装置100と、外部装置との通信を行うための通信装置である。具体的には、例えば、通信部20は、ネットワーク等を介して、外部装置から画像投影装置100に投影させる画像の画像データを取得しても良い。通信部20による通信の方式は、画像投影装置100と外部装置とが通信を行うことができれば、どのような方式であっても良い。 The communication unit 20 is a communication device for communicating between the image projection device 100 and an external device. Specifically, for example, the communication unit 20 may acquire image data of an image to be projected on the image projection device 100 from an external device via a network or the like. The communication method by the communication unit 20 may be any method as long as the image projection device 100 and the external device can communicate with each other.

制御部30は、例えば、演算処理装置等であり、本実施形態の画像投影装置100の動作の全体を制御する。具体的には、制御部30は、通信部20から入力された画像データや、記憶部40に格納された画像データや、画像入力部70から入力された画像データに対して、補正を行い、補正後の画像データをレーザ出力制御部50へ出力する。 The control unit 30 is, for example, an arithmetic processing device or the like, and controls the entire operation of the image projection device 100 of the present embodiment. Specifically, the control unit 30 corrects the image data input from the communication unit 20, the image data stored in the storage unit 40, and the image data input from the image input unit 70. The corrected image data is output to the laser output control unit 50.

より具体的には、本実施形態の制御部30は、画像データが示す画像のサイズ(画角)を変えずに、この画像の中心部分を拡大し、周辺部分を縮小するように、画像データを補正し、補正後の画像データをレーザ出力制御部50へ出力する。制御部30による画像の補正の詳細は後述する。 More specifically, the control unit 30 of the present embodiment enlarges the central portion of the image and reduces the peripheral portion without changing the size (angle of view) of the image indicated by the image data. Is corrected, and the corrected image data is output to the laser output control unit 50. Details of image correction by the control unit 30 will be described later.

記憶部40は、制御部30により実行されるプログラムや、演算により取得された各種の値等を格納する。また、記憶部40は、通信部20、画像入力部70等によって入力された画像データを保持する。さらに、記憶部40は、制御部30により補正された補正後の画像データが格納されても良い。 The storage unit 40 stores a program executed by the control unit 30, various values acquired by calculation, and the like. Further, the storage unit 40 holds the image data input by the communication unit 20, the image input unit 70, and the like. Further, the storage unit 40 may store the corrected image data corrected by the control unit 30.

レーザ出力制御部50は、レーザ照射部60を制御するための演算処理装置等であっても良く、例えば、記憶部40に格納された補正後の画像データに基づくレーザ光を、予め設定された光量で、レーザ照射部60から照射させる。 The laser output control unit 50 may be an arithmetic processing device or the like for controlling the laser irradiation unit 60, and for example, a laser beam based on the corrected image data stored in the storage unit 40 may be set in advance. The laser irradiation unit 60 irradiates the laser with the amount of light.

レーザ照射部60は、レーザ光を照射する光源部を有し、補正後の画像データに基づくレーザ光を2次元に走査して、予め設定された光量で利用者の眼球(網膜)160に照射することによって、画像を網膜へ投影する。 The laser irradiation unit 60 has a light source unit that irradiates the laser light, scans the laser light based on the corrected image data in two dimensions, and irradiates the user's eyeball (retina) 160 with a preset amount of light. By doing so, the image is projected onto the retina.

画像入力部70は、画像投影装置100に画像データを入力するためのものである。本実施形態の画像入力部70は、例えば、カメラ等の撮像装置であっても良く、この撮像装置により撮像された画像データは、記憶部40に格納されても良い。 The image input unit 70 is for inputting image data to the image projection device 100. The image input unit 70 of the present embodiment may be, for example, an image pickup device such as a camera, and the image data captured by this image pickup device may be stored in the storage unit 40.

また、画像入力部70は外部装置からの画像データ、動画像データをDVI(Digital Visual Interface)、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)などのインタフェースを用いて入力することもできる。 Further, the image input unit 70 uses an interface such as DVI (Digital Visual Interface), USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface) for image data and moving image data from an external device. You can also enter it.

本実施形態では、このように、画像の中心部分が拡大された補正後の画像データが示す画像が、利用者の網膜に投影される。したがって、本実施形態によれば、補正後の画像データが示す画像において、拡大された中心部分が、利用者の網膜の中でもっとも視力が良いとされる黄斑部中心窩に投影されることになる。言い換えれば、本実施形態によれば、補正後の画像データが示す画像を、画像投影装置100の解像度に応じた大きさの画像よりも、大きい画像として、利用者に視認させることができる。 In the present embodiment, the image indicated by the corrected image data in which the central portion of the image is enlarged is projected onto the retina of the user. Therefore, according to the present embodiment, in the image shown by the corrected image data, the enlarged central portion is projected onto the fovea centralis of the macula, which is considered to have the best visual acuity in the user's retina. Become. In other words, according to the present embodiment, the image indicated by the corrected image data can be visually recognized by the user as an image larger than the image having a size corresponding to the resolution of the image projection device 100.

よって、本実施形態によれば、拡大された中央部分において、画像投影装置100の解像度と対応する視力よりも良い視力に応じた見え方で、利用者に画像を視認させることができ、利用者による画像の見え方を向上させることができる。 Therefore, according to the present embodiment, in the enlarged central portion, the user can visually recognize the image with a visual acuity that is better than the resolution of the image projection device 100 and the corresponding visual acuity. It is possible to improve the appearance of the image by.

また、本実施形態では、画角を変えないように画像データを補正するため、利用者に網膜に投影される画像の大きさは維持される。言い換えれば、本実施形態によれば、画像の全体を利用者に視認させつつ、中心部分の見え方をより良くすることができる。 Further, in the present embodiment, since the image data is corrected so as not to change the angle of view, the size of the image projected on the retina by the user is maintained. In other words, according to the present embodiment, it is possible to improve the appearance of the central portion while allowing the user to visually recognize the entire image.

尚、図1では、画像投影装置100が各部を有する構成としたが、これに限定されない。例えば、通信部20、制御部30、記憶部40等は、画像投影装置100と接続されて画像投影装置100を制御する制御用端末等に設けられていても良い。この場合、画像投影装置100には、少なくとも、レーザ出力制御部50、レーザ照射部60が設けられていれば良い。 In FIG. 1, the image projection device 100 has each part, but the present invention is not limited to this. For example, the communication unit 20, the control unit 30, the storage unit 40, and the like may be provided in a control terminal or the like that is connected to the image projection device 100 and controls the image projection device 100. In this case, the image projection device 100 may be provided with at least a laser output control unit 50 and a laser irradiation unit 60.

次に、本実施形態の画像投影装置100の制御部の機能について説明する。図2は、第一の実施形態の制御部の機能を説明する図である。 Next, the function of the control unit of the image projection device 100 of the present embodiment will be described. FIG. 2 is a diagram illustrating a function of the control unit of the first embodiment.

本実施形態の制御部30は、画像データ取得部31、画像補正部32、画像データ出力部33を有する。 The control unit 30 of the present embodiment includes an image data acquisition unit 31, an image correction unit 32, and an image data output unit 33.

画像データ取得部31は、記憶部40に格納された画像データを読み出して取得する。また、画像データ取得部31は、通信部20が受信した画像データを取得する。 The image data acquisition unit 31 reads and acquires the image data stored in the storage unit 40. Further, the image data acquisition unit 31 acquires the image data received by the communication unit 20.

画像補正部32は、画像データ取得部31が取得した画像データを補正する。具体的には、本実施形態では、画像データ取得部31が取得した画像データが示す画像のサイズ(画角)を変えずに、この画像の中心部分を拡大し、周辺部分を縮小する。画像補正部32の詳細は後述する。 The image correction unit 32 corrects the image data acquired by the image data acquisition unit 31. Specifically, in the present embodiment, the central portion of the image is enlarged and the peripheral portion is reduced without changing the size (angle of view) of the image indicated by the image data acquired by the image data acquisition unit 31. The details of the image correction unit 32 will be described later.

画像データ出力部33は、画像補正部32により補正された補正後の画像データをレーザ出力制御部50へ出力する。以下の説明では、画像補正部32による補正が行われた後の画像データを投影用画像データと呼ぶ。 The image data output unit 33 outputs the corrected image data corrected by the image correction unit 32 to the laser output control unit 50. In the following description, the image data after the correction by the image correction unit 32 is referred to as projection image data.

次に、図3を参照して、本実施形態の画像投影装置100の動作について説明する。図3は、第一の実施形態の画像投影装置の動作を説明するフローチャートである。 Next, the operation of the image projection device 100 of the present embodiment will be described with reference to FIG. FIG. 3 is a flowchart illustrating the operation of the image projection device of the first embodiment.

本実施形態の画像投影装置100の制御部30は、画像データ取得部31により、画像データを取得する(ステップS31)。 The control unit 30 of the image projection device 100 of the present embodiment acquires image data by the image data acquisition unit 31 (step S31).

尚、本実施形態では、例えば、制御部30において、画像データ取得部31により取得する画像データが予め設定されていても良い。具体的には、例えば、画像データ取得部31には、記憶部40に格納された画像データを取得するのか、又は、通信部20が受信した画像データを取得するのか、が予め設定されていても良い。 In this embodiment, for example, the image data acquired by the image data acquisition unit 31 may be set in advance in the control unit 30. Specifically, for example, the image data acquisition unit 31 is preset with whether to acquire the image data stored in the storage unit 40 or the image data received by the communication unit 20. Is also good.

また、本実施形態では、画像データ取得部31は、通信部20が画像データを受信している場合には、受信している画像データを優先的に取得し、通信部20が画像データを受信していない場合には、記憶部40に格納された画像データを取得するようにしても良い。 Further, in the present embodiment, when the communication unit 20 receives the image data, the image data acquisition unit 31 preferentially acquires the received image data, and the communication unit 20 receives the image data. If not, the image data stored in the storage unit 40 may be acquired.

続いて、制御部30は、画像補正部32により、取得した画像データを補正する(ステップS32)。ステップS32の詳細は、後述する。 Subsequently, the control unit 30 corrects the acquired image data by the image correction unit 32 (step S32). Details of step S32 will be described later.

続いて、制御部30は、画像補正部32から出力される投影用画像データを取得し、レーザ出力制御部50へ出力する(ステップS33)。 Subsequently, the control unit 30 acquires the projection image data output from the image correction unit 32 and outputs it to the laser output control unit 50 (step S33).

続いて、レーザ出力制御部50は投影用画像データを取得すると、レーザ照射部60を制御して、投影用画像データに応じたレーザ光線を照射させ、投影用画像(補正後の画像)を利用者の網膜に投影させる(ステップS34)。 Subsequently, when the laser output control unit 50 acquires the projection image data, the laser output control unit 50 controls the laser irradiation unit 60 to irradiate the laser beam according to the projection image data, and uses the projection image (corrected image). It is projected onto a person's retina (step S34).

投影する画像データが、カメラからの動画や、外部装置で再生された動画像(映像)ソースであれば、上記処理を繰り返し実行し、補正された動画像をリアルタイムに利用者の網膜に投影させることができる。 If the image data to be projected is a moving image from a camera or a moving image (video) source played by an external device, the above processing is repeatedly executed to project the corrected moving image onto the user's retina in real time. be able to.

次に、図4を参照して、本実施形態の画像補正部32による画像の補正について説明する。図4は、第一の実施形態における画像の補正を説明するフローチャートである。図4は、図3に示すステップS32の詳細を示している。 Next, with reference to FIG. 4, the image correction by the image correction unit 32 of the present embodiment will be described. FIG. 4 is a flowchart illustrating image correction in the first embodiment. FIG. 4 shows the details of step S32 shown in FIG.

本実施形態の画像投影装置100において、制御部30の画像補正部32は、画像データ取得部31が取得した画像データが示す画像を等間隔に分割する(ステップS41)。尚、分割する方向は、縦方向又は横方向の何れか一方に対して、等間隔への分割を行っても良いし、縦方向と横方向の両方を等間隔に分割しても良い。 In the image projection device 100 of the present embodiment, the image correction unit 32 of the control unit 30 divides the image indicated by the image data acquired by the image data acquisition unit 31 at equal intervals (step S41). As the dividing direction, either the vertical direction or the horizontal direction may be divided at equal intervals, or both the vertical direction and the horizontal direction may be divided at equal intervals.

続いて、画像補正部32は、複数の分割後の領域において、中心部分の領域の補正倍率を算出する(ステップS42)。 Subsequently, the image correction unit 32 calculates the correction magnification of the central region in the plurality of divided regions (step S42).

本実施形態では、中心部分の領域の補正倍率は、希望視力÷現状視力によって求められる。 In the present embodiment, the correction magnification of the central region is obtained by the desired visual acuity ÷ the current visual acuity.

現状視力とは、画像投影装置100(レーザ照射部60)の解像度と対応する視力を示しており、予め与えられた値である。希望視力とは、投影用画像データを利用者の網膜に投影した場合の画像の見え方と対応する視力であり、任意に設定できる値である。 The current visual acuity indicates the visual acuity corresponding to the resolution of the image projection device 100 (laser irradiation unit 60), and is a value given in advance. The desired visual acuity is a visual acuity that corresponds to the appearance of the image when the projection image data is projected onto the user's retina, and is a value that can be arbitrarily set.

続いて、画像補正部32は、等間隔に分割した領域の幅を等比数列的に小さくするための補正倍率の算出に用いる公比βを算出する(ステップS43)。 Subsequently, the image correction unit 32 calculates the common ratio β used for calculating the correction magnification for reducing the width of the region divided at equal intervals in a geometric progression (step S43).

続いて、画像補正部32は、公比βを用いて、中心部分の領域以外の領域の補正倍率を算出する(ステップS44)。 Subsequently, the image correction unit 32 calculates the correction magnification of a region other than the region of the central portion using the common ratio β (step S44).

続いて、画像補正部32は、算出され各領域の補正倍率に応じて、各領域の幅を拡大・縮小し、投影用画像データを作成する(ステップS45)。 Subsequently, the image correction unit 32 expands / reduces the width of each region according to the calculated correction magnification of each region, and creates projection image data (step S45).

上記の画像の補正の処理については、画像データを取得してから順に各ステップで算出するものとして説明したが、これに限定されない。補正倍率、公比の算出は、表示するモード等に応じて予め算出しておき、その値を用いて投影用画像データを生成することで、画像(動画像)表示のリアルタイム性をさらに向上させることができる。 The above-mentioned image correction process has been described as being calculated in each step in order after acquiring image data, but the present invention is not limited to this. The correction magnification and common ratio are calculated in advance according to the display mode, etc., and the values are used to generate projection image data to further improve the real-time performance of image (moving image) display. be able to.

以下に、図5を参照して、本実施形態の画像補正部32による画像の補正についてさらに説明する。図5は、第一の実施形態における画像の補正を説明する第一の図である。図5(A)は、補正を行う前の画像51の例を示し、図5(B)は、補正を行った後の画像51Aの例を示す。尚、図5では、説明の便宜上、一色の画像としている。また、図5の例では、画像を横方向に対し、等間隔に分割するものとしている。 Hereinafter, image correction by the image correction unit 32 of the present embodiment will be further described with reference to FIG. FIG. 5 is a first diagram illustrating image correction in the first embodiment. FIG. 5A shows an example of the image 51 before the correction, and FIG. 5B shows an example of the image 51A after the correction. In FIG. 5, for convenience of explanation, a one-color image is used. Further, in the example of FIG. 5, the image is divided into equal intervals in the horizontal direction.

画像51は、画像データ取得部31が取得した画像データが示す画像である。画像補正部32は、この画像51における中心点Pを通り、且つ、画像51を2等分する線Sを特定する。尚、中心点Pは、例えば、画像51が示す長方形の重心である。次に、画像補正部32は、線Sによって分割された領域の数が左右で同数となるように、画像51を等間隔に分割する。 The image 51 is an image indicated by the image data acquired by the image data acquisition unit 31. The image correction unit 32 specifies a line S that passes through the center point P in the image 51 and divides the image 51 into two equal parts. The center point P is, for example, the center of gravity of the rectangle shown in the image 51. Next, the image correction unit 32 divides the image 51 at equal intervals so that the number of regions divided by the line S is the same on the left and right.

図5(A)の例では、画像補正部32は、線Sを中心(基準)に、右側の領域と左側の領域とを、それぞれ10の領域L1~L10に分割している。したがって、図5(A)の例では、中心部分の領域とは、線Sの両側に位置する2つの領域L1である。 In the example of FIG. 5A, the image correction unit 32 divides the right side region and the left side region into 10 regions L1 to L10, respectively, with the line S as the center (reference). Therefore, in the example of FIG. 5A, the region of the central portion is two regions L1 located on both sides of the line S.

ここで、例えば、現状視力が0.6であり、希望視力が0.8であったとすると、中心部分の領域L1の補正倍数Xは、0.8÷0.6=1.33・・となる。 Here, for example, assuming that the current visual acuity is 0.6 and the desired visual acuity is 0.8, the correction multiple X 1 of the region L1 in the central portion is 0.8 ÷ 0.6 = 1.33 ... Will be.

また、本実施形態では、領域L2~L10のそれぞれに対応する補正倍数X~X10は、X=β×Xn-1で示される。 Further, in the present embodiment, the correction multiples X2 to X10 corresponding to each of the regions L2 to L10 are represented by X n = β × X n -1 .

ここで、画像補正部32は、領域L1~L10までの幅を正規化して加算した値をAとし、領域L1の補正倍数Xと、領域L2~L10のそれぞれに対応する補正倍数をX~X10とを加算した値をBとしたとき、B≦Aを満たし、且つBが最大値となるときのβを公比とする。 Here, in the image correction unit 32, the value obtained by normalizing and adding the widths of the regions L1 to L10 is set as A , and the correction multiples X1 of the region L1 and the correction multiples corresponding to the regions L2 to L10 are X2. When B is the value obtained by adding ~ X 10 and B, β is used as the common ratio when B ≦ A is satisfied and B becomes the maximum value.

次に、画像補正部32は、各領域Lnの幅を、公比βを用いて補正する。具体的には、図5(B)に示す補正後の領域L1′の幅Wは、領域L1の幅×補正倍数Xによって求められる。また、補正後の領域L2′の幅Wは、幅W×公比βによって求められ、補正後の領域L3′の幅Wは、幅W×公比βによって求められる。 Next, the image correction unit 32 corrects the width of each region Ln using the common ratio β. Specifically, the width W 1 of the corrected region L1'shown in FIG. 5 (B) is obtained by the width of the region L1 × the correction multiple X 1 . Further, the width W 2 of the corrected region L2'is obtained by the width W 1 × the common ratio β, and the width W 3 of the corrected region L3 ′ is obtained by the width W 2 × the common ratio β.

つまり、補正後の領域L2′~領域L10′の幅W~幅W10は、幅W=幅Wn-1×公比βによって求められる。 That is, the width W 2 to the width W 10 of the corrected region L2'to the region L10' can be obtained by the width W n = the width W n-1 × the common ratio β.

本実施形態では、以上のように、画像を横方向に等間隔に分割し、中心部分の分割幅を最も広くし、中心部分から遠ざかるにつれて、分割幅が単調に減少していくように、画像を補正する。 In the present embodiment, as described above, the image is divided horizontally at equal intervals, the division width of the central portion is widest, and the division width is monotonically decreased as the distance from the central portion increases. To correct.

言い換えれば、本実施形態では、画像の画角を変えずに、画像を、基準位置を中心として等間隔の幅の領域に分割し、基準位置から遠ざかるにしたがって、領域の幅が等比級数的に減少していくように、補正する。 In other words, in the present embodiment, the image is divided into regions having a width of equal intervals centered on the reference position without changing the angle of view of the image, and the width of the regions is geometric progression as the distance from the reference position increases. Correct so that it decreases to.

本実施形態では、この補正により、補正前の画像のサイズ(画角)を維持したまま、画像の中心部分を拡大し、周辺部分に向かって画像を縮小させることができる。 In the present embodiment, by this correction, the central portion of the image can be enlarged and the image can be reduced toward the peripheral portion while maintaining the size (angle of view) of the image before the correction.

以下に、図6及び図7を参照して、補正後の画像についてさらに説明する。図6は、第一の実施形態における画像の補正を説明する第二の図である。 The corrected image will be further described below with reference to FIGS. 6 and 7. FIG. 6 is a second diagram illustrating the image correction in the first embodiment.

図6(A)は、補正前の画像データを利用者の網膜に投影した場合の画像G1の見え方を示しており、図6(B)は、投影用画像データ(補正後の画像データ)を利用者の網膜に投影した場合の投影用画像G2の見え方を示している。 FIG. 6A shows how the image G1 looks when the image data before correction is projected onto the user's retina, and FIG. 6B shows image data for projection (image data after correction). The appearance of the projection image G2 when the image is projected onto the user's retina is shown.

図6(A)の例では、画像G1の中心部分には、ランドルト環の画像R1が配置されており、このランドルト環の画像R1は、利用者の網膜の中心部分に投影される。このとき、図6(A)に示す画像R1は、視力0.6を示すランドルト環の画像である。この視力は、画像投影装置100の解像度によって、現状視力として与えられるものである。 In the example of FIG. 6A, the image R1 of the Randold ring is arranged in the central portion of the image G1, and the image R1 of the Randold ring is projected onto the central portion of the retina of the user. At this time, the image R1 shown in FIG. 6A is an image of the Randold ring showing a visual acuity of 0.6. This visual acuity is given as the current visual acuity by the resolution of the image projection device 100.

図6(B)に示す画像G2は、画像G1を示す画像データを画像補正部32によって補正した投影用画像データが示す画像である。 The image G2 shown in FIG. 6B is an image shown by the projection image data obtained by correcting the image data showing the image G1 by the image correction unit 32.

この画像G2の中心部分には、ランドルト環の画像R2が配置されている。ランドルト環の画像R2は、画像補正部32によって、画像G1の中心部分を拡大することで、画像G1の中心に配置されていたランドルト環の画像R1が拡大された結果の画像である。尚、図6の例では、希望視力を0.8として、画像補正部32による補正が行われたものとする。 The image R2 of the Randold ring is arranged in the central portion of the image G2. The image R2 of the Randold ring is an image obtained by enlarging the central portion of the image G1 by the image correction unit 32, thereby enlarging the image R1 of the Randolt ring arranged at the center of the image G1. In the example of FIG. 6, it is assumed that the desired visual acuity is 0.8 and the correction is performed by the image correction unit 32.

図7は、第一の実施形態における画像の補正を説明する第三の図である。図7(A)は、補正前の画像データを利用者の網膜に投影した場合の画像G3の見え方を示しており、図7(B)は、投影用画像データ(補正後の画像データ)を利用者の網膜に投影した場合の投影用画像G4の見え方を示している。 FIG. 7 is a third diagram illustrating image correction in the first embodiment. FIG. 7A shows how the image G3 looks when the image data before correction is projected onto the user's retina, and FIG. 7B shows image data for projection (image data after correction). The appearance of the projection image G4 when the image is projected onto the user's retina is shown.

図7の例では、画像G4の中心部分が、画像G3と比較して、拡大されていることがわかる。また、本実施形態では、画像G3と画像G4の両方において、画角(画像の大きさ)は変更されていない。よって、画像G4では、中心部分が拡大された状態で、且つ、画像G3と同じ範囲の画像を含むものとなる。このため、本実施形態では、利用者の視界を狭めることがなく、利用者に違和感を感じさせないように、画像G3の中心部分の見え方を向上させることができる。 In the example of FIG. 7, it can be seen that the central portion of the image G4 is enlarged as compared with the image G3. Further, in the present embodiment, the angle of view (image size) is not changed in both the image G3 and the image G4. Therefore, in the image G4, the central portion is enlarged and the image in the same range as the image G3 is included. Therefore, in the present embodiment, it is possible to improve the appearance of the central portion of the image G3 so as not to narrow the field of view of the user and to make the user feel uncomfortable.

尚、本実施形態の画像補正部32による画像の補正の方法は、上述した方法に限定されない。本実施形態では、画角を変えずに、等間隔に分割した画像領域の幅の値が、基準とした位置から周辺方向に向かって単調に減少していくようできれば良く、上述した方法以外のどのような方法で補正されても良い。 The method of image correction by the image correction unit 32 of the present embodiment is not limited to the above-mentioned method. In the present embodiment, it suffices if the value of the width of the image region divided at equal intervals can be monotonically decreased from the reference position toward the peripheral direction without changing the angle of view, and other than the above-mentioned method. It may be corrected by any method.

また、図5乃至図7の例では、画像を、横方向(長辺方向)の幅が等間隔となるように分割しているが、これに限定されない。画像は、例えば、縦方向(短辺方向)の幅が等間隔となるように分割されても良いし、横方向と縦方向の両方が、等間隔となるように分割されても良い。 Further, in the examples of FIGS. 5 to 7, the image is divided so that the widths in the horizontal direction (long side direction) are evenly spaced, but the image is not limited to this. The image may be divided so that the widths in the vertical direction (short side direction) are evenly spaced, or the images may be divided so that both the horizontal direction and the vertical direction are evenly spaced.

また、例えば、本実施形態では、画像の横方向(長辺方向)の幅を分割するか、縦方向の幅を分割するか、又は、横方向及び縦方向の幅を分割するか、を、利用者の網膜に投影させる画像の向きや画像の種類に応じて選択しても良い。このとき、画像の縦横比(アスペクト比)を維持しておくようにすることが好ましい。 Further, for example, in the present embodiment, whether to divide the width in the horizontal direction (long side direction) of the image, the width in the vertical direction, or the width in the horizontal direction and the vertical direction is divided. It may be selected according to the direction of the image to be projected on the user's retina and the type of the image. At this time, it is preferable to maintain the aspect ratio of the image.

また、本実施形態の画像投影装置100は、一般的な眼鏡型のヘッドマウントディスプレイとして説明したが、これに限定されない。画像投影装置100は、例えば、医療機関や眼鏡店等に設置される据え置き型の視覚検査用機器としての画像投影装置であっても良い。 Further, the image projection device 100 of the present embodiment has been described as a general spectacle-type head-mounted display, but the present invention is not limited thereto. The image projection device 100 may be, for example, an image projection device as a stationary visual inspection device installed in a medical institution, an optician, or the like.

(第二の実施形態)
以下に図面を参照して第二の実施形態について説明する。第二の実施形態では、補正前の画像を分割する際に、基準となる位置を設定できる点が、第一の実施形態と相違する。よって、以下の第二の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
(Second embodiment)
The second embodiment will be described below with reference to the drawings. The second embodiment differs from the first embodiment in that a reference position can be set when the image before correction is divided. Therefore, in the following description of the second embodiment, the differences from the first embodiment will be described, and for those having the same functional configuration as the first embodiment, the description of the first embodiment will be described. A code similar to the code used is assigned, and the description thereof will be omitted.

図8は、第二の実施形態の画像投影装置のハードウェア構成を説明する図である。本実施形態の画像投影装置100Aは、通信部20、制御部30A、記憶部40、レーザ出力制御部(光線出力制御部)50、レーザ照射部60、画像入力部70、操作部80を有する。 FIG. 8 is a diagram illustrating a hardware configuration of the image projection device of the second embodiment. The image projection device 100A of the present embodiment includes a communication unit 20, a control unit 30A, a storage unit 40, a laser output control unit (ray output control unit) 50, a laser irradiation unit 60, an image input unit 70, and an operation unit 80.

本実施形態の操作部80は、画像投影装置100Aに対して各種の情報を入力するためのものである。具体的には、例えば、操作部80は、画像投影装置100Aによって利用者の網膜に投影する画像のうち、拡大する領域を設定するための操作部材である。 The operation unit 80 of the present embodiment is for inputting various information to the image projection device 100A. Specifically, for example, the operation unit 80 is an operation member for setting an enlarged region of the image projected on the user's retina by the image projection device 100A.

本実施形態の操作部80は、例えば、画像投影装置100Aが眼鏡型のヘッドマウントディスプレイである場合には、ツルの部分等に設けられていても良い。操作部80がツルの部分に設けられていると、画像投影装置100Aの利用者が、画像投影装置100Aを装着した状態で、自身の網膜に投影されている画像において、拡大させたい領域を指定することができる。 The operation unit 80 of the present embodiment may be provided, for example, in a vine portion or the like when the image projection device 100A is a spectacle-type head-mounted display. When the operation unit 80 is provided on the vine portion, the user of the image projection device 100A specifies an area to be enlarged in the image projected on his / her own retina with the image projection device 100A attached. can do.

尚、本実施形態では、利用者の網膜に投影する画像における拡大する領域の設定は、例えば、通信部20を介して画像投影装置100Aと接続された端末装置によって行われても良い。 In the present embodiment, the setting of the enlarged area in the image projected on the user's retina may be performed by, for example, a terminal device connected to the image projection device 100A via the communication unit 20.

本実施形態の制御部30Aは、操作部80によって設定された領域が拡大されるように、画像データを補正する。 The control unit 30A of the present embodiment corrects the image data so that the area set by the operation unit 80 is enlarged.

図9は、第二の実施形態の制御部の機能を説明する図である。本実施形態の制御部30Aは、画像データ取得部31、画像補正部32、画像データ出力部33、基準位置設定部34を有する。 FIG. 9 is a diagram illustrating the function of the control unit of the second embodiment. The control unit 30A of the present embodiment includes an image data acquisition unit 31, an image correction unit 32, an image data output unit 33, and a reference position setting unit 34.

本実施形態の基準位置設定部34は、補正前の画像において、画像を等間隔に分割する際の基準位置を設定する。 The reference position setting unit 34 of the present embodiment sets the reference position when the image is divided into equal intervals in the image before correction.

以下に、図10を参照して、基準位置について説明する。図10は、第二の実施形態の基準位置の設定を説明する図である。 The reference position will be described below with reference to FIG. FIG. 10 is a diagram illustrating the setting of the reference position of the second embodiment.

図10では、画像51において、線S1が基準として設定された場合を示している。図10の例では、線S1が画像を等間隔に分割する際の基準となるため、線S1を挟んで隣接する2つの領域L11が、中心の領域となる。 FIG. 10 shows a case where the line S1 is set as a reference in the image 51. In the example of FIG. 10, since the line S1 serves as a reference when dividing the image at equal intervals, two regions L11 adjacent to each other with the line S1 interposed therebetween are the central regions.

つまり、本実施形態では、線S1を中心とした領域が、画像補正部32によって拡大されることになる。 That is, in the present embodiment, the region centered on the line S1 is enlarged by the image correction unit 32.

尚、図10の例では、基準位置として、線S1を設定するものとしたが、これに限定されない。基準位置は、点であっても良い。基準位置として、点が設定された場合には、しその点を中心にして、画像51の縦方向と横方向について、それぞれ等間隔に分割し、点を介して縦方向に隣接する領域と、点を介して横方向に隣接する領域とを中心の領域とすれば良い。 In the example of FIG. 10, the line S1 is set as the reference position, but the present invention is not limited to this. The reference position may be a point. When a point is set as the reference position, the image 51 is divided into the vertical direction and the horizontal direction at equal intervals around the point, and the area vertically adjacent to the point is divided into the area. The region adjacent to each other in the lateral direction via the point may be set as the central region.

また、基準位置が点である場合には、この点を中心とした同心円のうち、最も半径が短い円の領域と、この円と、次に半径が短い円とが重ならない領域と、を隣接する領域としても良い。 If the reference position is a point, the area of the circle with the shortest radius among the concentric circles centered on this point and the area where this circle and the circle with the next shortest radius do not overlap are adjacent to each other. It may be an area to be used.

次に、図11を参照して、本実施形態の制御部30Aの動作について説明する。図11は、第二の実施形態の画像投影装置の動作を説明するフローチャートである。 Next, the operation of the control unit 30A of the present embodiment will be described with reference to FIG. FIG. 11 is a flowchart illustrating the operation of the image projection device of the second embodiment.

本実施形態の制御部30Aは、画像データ取得部31により、画像データを取得する(ステップS1101)。続いて、制御部30Aは、基準位置設定部34により、画像補正部32による補正の基準となる位置を決定する(ステップS1102)。 The control unit 30A of the present embodiment acquires image data by the image data acquisition unit 31 (step S1101). Subsequently, the control unit 30A determines a position as a reference for correction by the image correction unit 32 by the reference position setting unit 34 (step S1102).

図11のステップS1103からステップS1105までの処理は、図3のステップS32からステップS34までの処理と同様であるから、説明を省略する。 Since the processing from step S1103 to step S1105 in FIG. 11 is the same as the processing from step S32 to step S34 in FIG. 3, the description thereof will be omitted.

本実施形態では、このように、画像補正部32による補正の基準位置を任意に設定できるため、利用者の要望に応じて、利用者の網膜に投影する画像の任意の領域を拡大させることができる。 In the present embodiment, since the reference position for correction by the image correction unit 32 can be arbitrarily set in this way, it is possible to enlarge an arbitrary area of the image projected on the user's retina according to the user's request. can.

また、本実施形態では、基準位置を設定する操作部80を、利用者が画像投影装置100Aを装着した状態で操作できるようにしたため、利用者が視認している画像の中から、利用者が所望する領域を自身で拡大させることができる。 Further, in the present embodiment, the operation unit 80 for setting the reference position can be operated by the user with the image projection device 100A attached, so that the user can operate the operation unit 80 from the images visually recognized by the user. You can expand the desired area yourself.

(第三の実施形態)
以下に図面を参照して第三の実施形態について説明する。第三の実施形態では、画像投影装置100Aにおいて、画像を拡大させる領域を、視野検査の結果を示す情報に応じて決定する点が、第二の実施形態と相違する。よって、以下の第三の実施形態の説明では、第二の実施形態との相違点についてのみ説明し、第二の実施形態と同様の機能構成を有するものには、第二の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。
(Third embodiment)
The third embodiment will be described below with reference to the drawings. The third embodiment is different from the second embodiment in that in the image projection device 100A, the region for enlarging the image is determined according to the information indicating the result of the visual field test. Therefore, in the following description of the third embodiment, only the differences from the second embodiment will be described, and for those having the same functional configuration as the second embodiment, the second embodiment will be described. The same reference numerals as those used in the above are given, and the description thereof will be omitted.

図12は、第三の実施形態の画像投影システムを説明する図である。本実施形態の画像投影システム200は、画像投影装置100Aと、サーバ装置300とを含み、画像投影装置100Aとサーバ装置300とは、ネットワーク等を介して接続される。 FIG. 12 is a diagram illustrating an image projection system according to a third embodiment. The image projection system 200 of the present embodiment includes an image projection device 100A and a server device 300, and the image projection device 100A and the server device 300 are connected via a network or the like.

サーバ装置300には、検査結果データベース310を有する。検査結果データベース310は、画像投影装置100Aの利用者の視野検査の結果や、視力検査の結果を含む検査結果情報が格納されている。尚、本実施形態の検査結果データベース310には、画像投影装置100Aを特定する識別情報と、画像投影装置100Aの利用者の検査結果情報とが対応付けられて格納されていても良い。 The server device 300 has an inspection result database 310. The inspection result database 310 stores inspection result information including the result of the visual field inspection of the user of the image projection device 100A and the result of the visual acuity inspection. The inspection result database 310 of the present embodiment may store the identification information that identifies the image projection device 100A and the inspection result information of the user of the image projection device 100A in association with each other.

本実施形態の画像投影装置100Aは、例えば、通信部20を介して、画像投影装置100Aを特定する識別情報(装置ID等)をサーバ装置300に送信する。サーバ装置300は、この識別情報を受け付けると、識別情報と対応付けられた検査結果情報を参照し、画像投影装置100Aに対して、例えば、画像投影装置100Aの利用者の検査結果情報を送信する。 The image projection device 100A of the present embodiment transmits, for example, identification information (device ID or the like) that identifies the image projection device 100A to the server device 300 via the communication unit 20. When the server device 300 receives this identification information, it refers to the inspection result information associated with the identification information and transmits, for example, the inspection result information of the user of the image projection device 100A to the image projection device 100A. ..

検査結果情報には、例えば、利用者の視野に関する情報と、視力を示す情報とが含まれる。視野に関する情報とは、例えば、利用者が画像を視認することができる領域を示す情報である。 The test result information includes, for example, information regarding the user's visual field and information indicating visual acuity. The information regarding the visual field is, for example, information indicating an area in which the user can visually recognize the image.

画像投影装置100Aは、この検査結果情報を受信すると、基準位置設定部34により、利用者が画像を視認できる領域内に、画像補正部32による補正の基準位置を設定しても良い。 When the image projection device 100A receives the inspection result information, the reference position setting unit 34 may set the reference position for correction by the image correction unit 32 within the area where the user can visually recognize the image.

また、画像投影装置100Aは、例えば、検査結果情報に含まれる視力を示す情報から、利用者の視力が所定の値以下であると判定した場合に、画像補正部32により画像の補正を行っても良い。 Further, the image projection device 100A corrects the image by the image correction unit 32 when, for example, it is determined from the information indicating the visual acuity included in the inspection result information that the visual acuity of the user is equal to or less than a predetermined value. Is also good.

ここで、本発明の画像投影装置100において、網膜に投影される画像の解像度が改善されることについて説明する。 Here, it will be described that the image projection device 100 of the present invention improves the resolution of the image projected on the retina.

第一の実施の形態の図1の画像入力部70から入力される画像データは、カメラや、画像データの再生ができる外部装置から出力されるものである。以下の説明では、これらの機器から出力される画像データが示す画像、つまり、画像入力部70から入力される画像データが示す画像を、入力画像と呼ぶ。 The image data input from the image input unit 70 of FIG. 1 of the first embodiment is output from a camera or an external device capable of reproducing the image data. In the following description, the image indicated by the image data output from these devices, that is, the image indicated by the image data input from the image input unit 70 is referred to as an input image.

入力画像の解像度は、720pと呼ばれるハイビジョンで1280×720画素であり、1080pと呼ばれるフルハイビジョンでは1920×1080画素であり、さらに、4Kと呼ばれるものでは3840×2160画素を実現しており、入力画像の解像度は向上し続けている。 The resolution of the input image is 1280 x 720 pixels in high definition called 720p, 1920 x 1080 pixels in full high definition called 1080p, and 3840 x 2160 pixels in what is called 4K. The resolution of is continuing to improve.

しかしながら、本実施形態の画像投影装置100における光学系を用いた投影系の解像度は、現状では720p程度であるため、高解像度の入力画像の画像データを入力しても、網膜に投影するときには、その解像度の画像を投影することができない。 However, since the resolution of the projection system using the optical system in the image projection device 100 of the present embodiment is currently about 720p, even if the image data of the high-resolution input image is input, when it is projected onto the retina, It is not possible to project an image of that resolution.

本実施形態の画像投影装置100では、このように、入力画像の解像度よりも、投影系の解像度が低い場合でも、投影系の解像度を向上させることができる。 In the image projection device 100 of the present embodiment, the resolution of the projection system can be improved even when the resolution of the projection system is lower than the resolution of the input image.

図13と図14により、投影系の解像度が改善する仕組みを説明する。図13は、投影する画像の解像度が低下する場合の処理を説明する図であり、図14は、投影する画像の解像度が改善する場合の処理を説明する図である。 A mechanism for improving the resolution of the projection system will be described with reference to FIGS. 13 and 14. FIG. 13 is a diagram for explaining a process when the resolution of the projected image is lowered, and FIG. 14 is a diagram for explaining a process when the resolution of the projected image is improved.

図13(a)、図13(b)は、カメラ等から入力された画像データが示す入力画像と、拡大補正をしない場合の投影系の画像を模式的に表した図である。 13 (a) and 13 (b) are diagrams schematically showing an input image indicated by image data input from a camera or the like and an image of a projection system when enlargement correction is not performed.

入力画像の解像度は54×54画素であるのに対し、投影系によって投影される投影画像の解像度は27×27画素であり、投影画像の解像度は入力画像の解像度の半分である。 The resolution of the input image is 54 × 54 pixels, while the resolution of the projected image projected by the projection system is 27 × 27 pixels, and the resolution of the projected image is half the resolution of the input image.

この場合、入力画像を示す画像データを、解像度が半分である投影系へ直接変換しで投影すると、その画像データは間引かれてしまい、投影画像では、入力画像のすべてを再現できなくなる。 In this case, if the image data indicating the input image is directly converted to a projection system having half the resolution and projected, the image data is thinned out, and the projected image cannot reproduce all of the input image.

具体的には、図13(a)に表示されているランドルト環は、18×18の画素内に表示されているが、図13(b)では 9×9の画素内に表示されて、その解像度が減少していることがわかる。 Specifically, the Randold ring displayed in FIG. 13 (a) is displayed in the pixel of 18 × 18, but in FIG. 13 (b), it is displayed in the pixel of 9 × 9. It can be seen that the resolution is decreasing.

次に、図14を参照して、本実施形態の画像投影装置100における、拡大補正を行った場合の解像度の状態を説明する。 Next, with reference to FIG. 14, the state of the resolution in the image projection apparatus 100 of the present embodiment when the enlargement correction is performed will be described.

図14(a)は、図13(a)と同様に、54×54画素の解像度の入力画像を示す図であり、図14(b)は、入力画像に対して拡大補正を行った補正後の画像を示す図である。 FIG. 14A is a diagram showing an input image having a resolution of 54 × 54 pixels, similarly to FIG. 13A, and FIG. 14B is a corrected image obtained by performing enlargement correction on the input image. It is a figure which shows the image of.

これまで第一の実施形態等で説明した例では、拡大補正は中央部から単調にその補正率が減少する処理を行なっていたが、ここでは、簡単のために、中央部を固定した倍率で拡大し、その周囲を固定した倍率で縮小した処理を行った場合の例を示している。 In the examples described in the first embodiment and the like so far, the enlargement correction has been performed so that the correction factor monotonically decreases from the central portion, but here, for the sake of simplicity, the magnification is fixed at the central portion. An example is shown in the case where the image is enlarged and the surrounding area is reduced at a fixed magnification.

図14(a)の中央部にあるランドルト環は、18×18の画素内で画像データ化されている。これを縦横2倍に拡大補正したものが図14(b)である。図14(b)に示す画像では、入力画像の中央部を拡大したため、入力画像の視野全体を表示するためには、周囲を縮小させる必要があり、図14(b)では周囲を縮小している。尚、図14(b)では、拡大された中央部の領域を領域Cとし、縮小された周囲の領域を領域Tとしている。 The Randold ring in the central portion of FIG. 14A is converted into image data in 18 × 18 pixels. FIG. 14 (b) shows a case in which this is magnified and corrected twice in the vertical and horizontal directions. In the image shown in FIG. 14 (b), since the central portion of the input image is enlarged, it is necessary to reduce the periphery in order to display the entire field of view of the input image, and in FIG. 14 (b), the periphery is reduced. There is. In FIG. 14B, the enlarged central region is defined as the region C, and the reduced peripheral region is designated as the region T.

この図14(b)に示す画像の画像データを、解像度が半分である投影系へ変換したものが図14(c)であり、中央部の領域C内のランドルト環は、投影系の解像度でもカメラ画像と同じ18×18の画素で表示されていることがわかる。 FIG. 14 (c) shows the image data of the image shown in FIG. 14 (b) converted into a projection system having a resolution of half, and the Randold ring in the central region C is also at the resolution of the projection system. It can be seen that the image is displayed with the same 18 × 18 pixels as the camera image.

このように、本実施形態では、拡大補正を行うことで、投影系の解像度が入力画像の解像度よりも低い場合でも、入力画像上で拡大補正を行った位置では解像度を改善することができるようになる。 As described above, in the present embodiment, by performing the enlargement correction, even if the resolution of the projection system is lower than the resolution of the input image, the resolution can be improved at the position where the enlargement correction is performed on the input image. become.

また、入力画像の解像度と、投影系によって投影される画像の解像度が同じであっても、拡大補正を行うことによって拡大補正を行った部位の視認性を向上させることができる。 Further, even if the resolution of the input image and the resolution of the image projected by the projection system are the same, it is possible to improve the visibility of the portion where the enlargement correction is performed by performing the enlargement correction.

このように、本実施形態の画像投影装置100Aは、利用者の視野検査や視力検査の結果に応じて、画像の補正を行っても良い。このようにすれば、本実施形態では、利用者が画像投影装置100Aを装着するだけで、利用者個人の見え方を向上させるように、補正された画像を利用者の網膜に投影することができる。 As described above, the image projection device 100A of the present embodiment may correct the image according to the result of the visual field test or the visual acuity test of the user. In this way, in the present embodiment, the corrected image can be projected onto the user's retina so as to improve the appearance of the individual user simply by wearing the image projection device 100A. can.

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態にあげた構成、その他の要素との組み合わせなど、ここで示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。 Although the present invention has been described above based on each embodiment, the present invention is not limited to the requirements shown here, such as the configuration described in the above embodiment and the combination with other elements. With respect to these points, the gist of the present invention can be changed without impairing the gist of the present invention, and can be appropriately determined according to the application form thereof.

20 通信部
30、30A 制御部
40 記憶部
50 レーザ出力制御部
60 レーザ照射部
70 画像入力部
80 操作部
100、100A 画像投影装置
20 Communication unit 30, 30A Control unit 40 Storage unit 50 Laser output control unit 60 Laser irradiation unit 70 Image input unit 80 Operation unit 100, 100A Image projection device

Claims (9)

入力された画像データを記憶する記憶部と、
前記画像データに対し、前記画像データが示す画像を、前記画像の画角を維持した状態で、基準位置から等間隔の幅の領域に分割し、前記基準位置から最も近い領域の幅を、前記等間隔の幅よりも広くすることで前記基準位置の前記画像を拡大し、前記基準位置から離れるにしたがって前記領域の幅が単調に減少させることで、前記画像を周辺部へ向かって縮小するように、補正を行う制御部と、
レーザ光線を出射する光源部を有し、前記制御部による補正後の画像データに基づき、前記レーザ光線を2次元に走査し、利用者の網膜に前記補正後の画像データが示す画像を、マクスウェル視を利用して投影するレーザ照射部と、を有する画像投影装置。
A storage unit that stores the input image data,
With respect to the image data, the image indicated by the image data is divided into regions having a width equal to each other from the reference position while maintaining the angle of view of the image, and the width of the region closest to the reference position is defined as the width of the region closest to the reference position. The image at the reference position is enlarged by making it wider than the width at equal intervals, and the width of the region is monotonically reduced as the distance from the reference position increases, so that the image is reduced toward the peripheral portion. In addition , the control unit that performs correction and
It has a light source unit that emits a laser beam, scans the laser beam in two dimensions based on the image data corrected by the control unit, and displays the image shown by the corrected image data on the user's retina in Maxwell. An image projection device having a laser irradiation unit that projects using vision .
前記制御部は、
記基準位置から離れるしたがって前記領域の幅を等比級数的に減少させる、請求項1記載の画像投影装置。
The control unit
The image projection apparatus according to claim 1, wherein the image projection device is separated from the reference position and therefore the width of the region is geometrically reduced.
前記基準位置は、
マクスウェル視を利用して投影される前記利用者の黄斑部中心窩の位置である、請求項1又は2記載の画像投影装置。
The reference position is
The image projection device according to claim 1 or 2 , which is the position of the fovea centralis of the macula of the user projected using Maxwell vision .
前記画像における基準位置の設定を行うための操作部を有し、
前記制御部は、
前記操作部による設定に応じて、前記画像における前記基準位置を設定する、請求項1又は2記載の画像投影装置。
It has an operation unit for setting the reference position in the image, and has an operation unit.
The control unit
The image projection device according to claim 1 or 2 , wherein the reference position in the image is set according to the setting by the operation unit.
前記制御部による補正は、
前記レーザ照射部から投影される画像の解像度を上げる補正である、請求項1乃至の何れか一項に記載の画像投影装置。
The correction by the control unit
The image projection device according to any one of claims 1 to 4 , which is a correction for increasing the resolution of an image projected from the laser irradiation unit.
入力された画像データを記憶する記憶部と、
前記画像データに対し、前記画像データが示す画像を、前記画像の画角を維持した状態で、基準位置から等間隔の幅の領域に分割し、前記基準位置から離れるにしたがって前記領域の幅が単調に減少するように、補正を行う制御部と、
レーザ光線を出射する光源部を有し、前記制御部による補正後の画像データに基づき、前記レーザ光線を2次元に走査し、利用者の網膜に前記補正後の画像データが示す画像を投影するレーザ照射部と、を有し、
前記制御部による補正は、
前記レーザ照射部から投影される画像の解像度が、前記入力された画像データが示す画像の解像度より低い場合に、前記レーザ照射部から投影される画像の解像度を上げる補正である、画像投影装置。
A storage unit that stores the input image data,
With respect to the image data, the image indicated by the image data is divided into regions having a width equal to each other from the reference position while maintaining the angle of view of the image, and the width of the region increases as the distance from the reference position increases. A control unit that corrects the image so that it decreases monotonically,
It has a light source unit that emits a laser beam, scans the laser beam in two dimensions based on the image data corrected by the control unit, and projects the image indicated by the corrected image data on the user's retina. It has a laser irradiation unit and
The correction by the control unit
Image projection, which is a correction for increasing the resolution of an image projected from the laser irradiation unit when the resolution of the image projected from the laser irradiation unit is lower than the resolution of the image indicated by the input image data. Device.
画像投影装置による画像投影方法であって、前記画像投影装置が、
入力された画像データを記憶部に記憶する手順と、
前記画像データに対し、前記画像データが示す画像を、前記画像の画角を維持した状態で、基準位置から等間隔の幅の領域に分割し、前記基準位置から最も近い領域の幅を、前記等間隔の幅よりも広くすることで前記基準位置の前記画像を拡大し、前記基準位置から離れるにしたがって前記領域の幅が単調に減少させることで、前記画像を周辺部へ向かって縮小するように、補正を行う手順と、
レーザ光線を出射する光源部を有し、補正後の前記画像データに基づき、前記レーザ光線を2次元に走査し、利用者の網膜に前記補正後の画像データが示す画像を、マクスウェル視を利用して投影する手順と、を有する画像投影方法。
An image projection method using an image projection device, wherein the image projection device is
The procedure for storing the input image data in the storage unit and
With respect to the image data, the image indicated by the image data is divided into regions having a width equal to each other from the reference position while maintaining the angle of view of the image, and the width of the region closest to the reference position is defined as the width of the region closest to the reference position. The image at the reference position is enlarged by making it wider than the width at equal intervals, and the width of the region is monotonically reduced as the distance from the reference position increases, so that the image is reduced toward the peripheral portion. In addition , the procedure for making corrections and
It has a light source unit that emits a laser beam, scans the laser beam in two dimensions based on the corrected image data , and uses Maxwell vision to display the image shown by the corrected image data on the user's retina. And the procedure of projecting, and the image projection method.
前記補正は、前記投影された画像データの解像度を上げる補正である、請求項記載の画像投影方法。 The image projection method according to claim 7 , wherein the correction is a correction for increasing the resolution of the projected image data. 画像投影装置による画像投影方法であって、前記画像投影装置が、 An image projection method using an image projection device, wherein the image projection device is
入力された画像データを記憶部に記憶する手順と、 The procedure for storing the input image data in the storage unit and
前記画像データに対し、前記画像データが示す画像を、前記画像の画角を維持した状態で、基準位置から等間隔の幅の領域に分割し、前記基準位置から離れるしたがって前記領域の幅が単調に減少するように、補正を行う手順と、 With respect to the image data, the image indicated by the image data is divided into regions having a width equal to each other from the reference position while maintaining the angle of view of the image, and the width of the region is monotonous because the region is separated from the reference position. The procedure for making corrections so that it decreases to
レーザ光線を出射する光源部を有するレーザ照射部が、補正後の前記画像データに基づき、前記レーザ光線を2次元に走査し、利用者の網膜に前記補正後の画像データが示す画像を投影する手順と、を有し、 A laser irradiation unit having a light source unit that emits a laser beam scans the laser beam in two dimensions based on the corrected image data, and projects an image indicated by the corrected image data on the user's retina. With the procedure,
前記補正は、 The correction is
前記レーザ照射部から投影される画像の解像度が、前記入力された画像データが示す画像の解像度より低い場合に、前記レーザ照射部から投影される画像の解像度を上げる補正である、画像投影方法。 An image projection method, which is a correction for increasing the resolution of an image projected from the laser irradiation unit when the resolution of the image projected from the laser irradiation unit is lower than the resolution of the image indicated by the input image data.
JP2018186737A 2018-10-01 2018-10-01 Image projection device and image projection method Active JP7086392B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018186737A JP7086392B2 (en) 2018-10-01 2018-10-01 Image projection device and image projection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018186737A JP7086392B2 (en) 2018-10-01 2018-10-01 Image projection device and image projection method

Publications (2)

Publication Number Publication Date
JP2020056886A JP2020056886A (en) 2020-04-09
JP7086392B2 true JP7086392B2 (en) 2022-06-20

Family

ID=70107706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018186737A Active JP7086392B2 (en) 2018-10-01 2018-10-01 Image projection device and image projection method

Country Status (1)

Country Link
JP (1) JP7086392B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011112678A (en) 2009-11-24 2011-06-09 Nec Casio Mobile Communications Ltd Display control device, display control method, and program
US20130321470A1 (en) 2012-06-05 2013-12-05 Samsung Electronics Co., Ltd. Apparatus and method for viewing an image that is larger than an area of a display device
JP2014222289A (en) 2013-05-13 2014-11-27 富士通株式会社 Image display device and image display method
JP2017500605A (en) 2013-11-27 2017-01-05 マジック リープ, インコーポレイテッド Virtual and augmented reality systems and methods
WO2018122902A1 (en) 2016-12-26 2018-07-05 マクセル株式会社 Image display device and image display method
JP2018116219A (en) 2017-01-20 2018-07-26 株式会社Qdレーザ Image projector
JP2018132756A (en) 2017-02-15 2018-08-23 パナソニックIpマネジメント株式会社 Display device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011112678A (en) 2009-11-24 2011-06-09 Nec Casio Mobile Communications Ltd Display control device, display control method, and program
US20130321470A1 (en) 2012-06-05 2013-12-05 Samsung Electronics Co., Ltd. Apparatus and method for viewing an image that is larger than an area of a display device
JP2014222289A (en) 2013-05-13 2014-11-27 富士通株式会社 Image display device and image display method
JP2017500605A (en) 2013-11-27 2017-01-05 マジック リープ, インコーポレイテッド Virtual and augmented reality systems and methods
WO2018122902A1 (en) 2016-12-26 2018-07-05 マクセル株式会社 Image display device and image display method
JP2018116219A (en) 2017-01-20 2018-07-26 株式会社Qdレーザ Image projector
JP2018132756A (en) 2017-02-15 2018-08-23 パナソニックIpマネジメント株式会社 Display device

Also Published As

Publication number Publication date
JP2020056886A (en) 2020-04-09

Similar Documents

Publication Publication Date Title
US10271042B2 (en) Calibration of a head mounted eye tracking system
US10761604B2 (en) Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
JP2023027369A (en) Steerable foveal display
JP5355208B2 (en) Three-dimensional display device and digital zoom correction method
JP6563043B2 (en) Video display system
CA3148706C (en) Light field vision testing device, adjusted pixel rendering method therefor, and vision testing system and method using same
US20130235169A1 (en) Head-mounted display and position gap adjustment method
KR20170104463A (en) System and method for improved display
CA3148710A1 (en) Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same
US10574966B2 (en) Method for modifying at least one frame video of a digital video stream to be displayed on a displaying area and related system
US11619995B2 (en) Light field vision-based testing device, adjusted pixel rendering method therefor, and online vision-based testing management system and method using same
US20230341933A1 (en) Light field device, pixel rendering method therefor, and adjusted vision perception system and method using same
JP2001128195A (en) Stereoscopic image correcting device, stereoscopic image display device, and recording medium with stereoscopic image correcting program recorded thereon
US11039124B2 (en) Information processing apparatus, information processing method, and recording medium
JP7086392B2 (en) Image projection device and image projection method
JP7427237B2 (en) Image projection device, image projection method, program
JP2017212720A (en) Image processing apparatus, image processing method, and program
JP6932526B2 (en) Image display device, image display method and program
JP2019105723A (en) Retina-scanning type image projection device, retina-scanning type image projection method, and retina-scanning type image projection system
JP2000171751A (en) Binocular display
JPH0713552A (en) Picture display device
KR20230000937A (en) Head-mounted electronic vision aid device and visual distortion correction method thereof
CN113820863A (en) VR interpupillary distance adjusting method and device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220601

R150 Certificate of patent or registration of utility model

Ref document number: 7086392

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150