HU225997B1 - Method and equipment for displaying images - Google Patents
Method and equipment for displaying images Download PDFInfo
- Publication number
- HU225997B1 HU225997B1 HU0600256A HUP0600256A HU225997B1 HU 225997 B1 HU225997 B1 HU 225997B1 HU 0600256 A HU0600256 A HU 0600256A HU P0600256 A HUP0600256 A HU P0600256A HU 225997 B1 HU225997 B1 HU 225997B1
- Authority
- HU
- Hungary
- Prior art keywords
- image
- optical
- resolution
- optical image
- display surface
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 31
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 230000003287 optical effect Effects 0.000 claims description 187
- 238000003384 imaging method Methods 0.000 claims description 21
- 210000001525 retina Anatomy 0.000 claims description 17
- 230000010076 replication Effects 0.000 claims description 6
- 230000003362 replicative effect Effects 0.000 claims description 2
- 230000004418 eye rotation Effects 0.000 claims 1
- 210000001508 eye Anatomy 0.000 description 58
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 230000004424 eye movement Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000873 fovea centralis Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 238000009987 spinning Methods 0.000 description 1
Landscapes
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
(54) Képmegjelenítő eljárás és berendezés (57) Kivonat(54) Image display process and equipment (57) Extract
A találmány képmegjelenítő eljárás és berendezés, amely eljárás során a tekintet irányát érzékelik, és a megjelenítendő képnek a retina nagy felbontóképességű területére leképeződő foveális részét egy első felbontásban, fennmaradó részét pedig az első felbontásnál kisebb második felbontásban jelenítik meg. A találmány szerintThe present invention is an image display method and apparatus, the method of detecting the direction of gaze and displaying a foveal portion of an image to be displayed on a high resolution area of the retina in a first resolution and the remainder in a lower resolution than a first resolution. According to the invention
- egy első megjelenítőfelületen (22) a foveális részt az első felbontásban megjelenítik, és az első megjelenítőfelületet (22) blendenyíláson (42) keresztül egy, a blendenyílást (42) lényegében a szem forgási középpontjába (48) leképező objektívegységgel (OU3) a szembe egy első szögfelbontással leképezik, valaminta first display surface (22) displaying the foveal portion in a first resolution, and the first display surface (22) through an aperture (42) facing an eye unit (OU3) mapping the aperture (42) substantially to the center of rotation (48) of the eye; mapped at first angle resolution, and
- egy második megjelenítőfelületen (32) a képnek legalább a fennmaradó részét a második felbontásban megjelenítik, és a második megjelenítőfelületet (32) olyan érzékelt képmérettel képezik le a szembe, amely megfelelne egy, az első felbontásban megjelenített teljes képnek az első szögfelbontással a szembe történő leképezése érzékelt képméretének.- displaying at least the remainder of the image at a second resolution on a second display surface (32), and imaging the second display surface (32) on the eye with a sensed image size corresponding to mapping an entire image displayed at first resolution to the first angle resolution perceived image size.
HU 225 997 Β1HU 225 997 Β1
A leírás terjedelme 16 oldal (ezen belül 6 lap ábra)The scope of the description is 16 pages (including 6 pages)
HU 225 997 Β1HU 225 997 Β1
A találmány képmegjelenítő eljárásra és berendezésre vonatkozik, mégpedig olyan eljárásra és berendezésre, amellyel lehetővé válik megjelenítendő álló-, illetve mozgóképeknek a retina nagy felbontóképességi területére nagyobb felbontásban, a retina perifériális részére pedig kisebb felbontásban történő leképezése. Ily módon a kis felbontású kijelzők képét a szem nagyobb felbontású kijelzőképével egyenértékűnek találja, azaz a kijelző hatásos felbontása nagyobb lesz.BACKGROUND OF THE INVENTION The present invention relates to a method and apparatus for displaying images, which is a method and apparatus for rendering still or moving images to be displayed at a higher resolution of the high resolution area of the retina and at a lower resolution of the peripheral portion of the retina. In this way, the image of the low-resolution displays is found to be equivalent to the higher-resolution display of the eye, meaning that the effective resolution of the display will be higher.
A nagy felbontású kijelzők iránt egyre nagyobb igény mutatkozik. A terjedő nagy felbontású televíziósszabványok (HDTV) szintén nagy felbontású eszközöket igényelnek. Másfelől a mobilkommunikáció, a mobil számítógépek és szórakoztatóeszközök terjedésével egyre nő az igény a könnyű, hordozható kijelzők iránt. Sok alkalmazásnál optimális lenne a fejen, például szemüvegen, sapkán, sisakon viselhető képernyő, azonban ezek elterjedésének határt szab, hogy a jó minőség és alacsony ár együttes elvárásának nem tudnak megfelelni. A legtöbb mai viselhető kijelző felbontása töredéke egy átlagos asztali monitorénak, áruk azonban még a nagy felbontású lapos képernyők áránál is magasabb.There is a growing demand for high-resolution displays. Expanding high-definition television standards (HDTVs) also require high-definition devices. On the other hand, with the proliferation of mobile communication, mobile computers and entertainment devices, there is a growing demand for lightweight, portable displays. For many applications, headscreens such as goggles, hats, and helmets would be optimal, but their spread is limited by the fact that they cannot meet the combination of good quality and low price. Most of today's wearable displays have a fraction of the resolution of an average desktop monitor, but the cost is even higher than the price of high-resolution flat screens.
Ismert továbbá az a probléma, hogy a kisméretű, célszerűen fejre szerelhető optikai kijelzők esetén rendkívül nehéz biztosítani a nagy felbontást. Ennek oka, hogy a kisméretű kijelzők esetében a pixeleket a normálkijelzőknél is kisebb méretben kell megjeleníteni, és ennek következtében az optikai felbontás növelése fizikai korlátokba ütközik.Also known is the problem that high resolution is extremely difficult with small, preferably head-mounted optical displays. This is because, for small displays, pixels have to be displayed at a size smaller than standard displays, and as a result, increasing the optical resolution has physical limitations.
A technika állása szerint felismerték, hogy ez a probléma orvosolható olyan képmegjelenítő eszközökkel, amelyek a szembe nem homogén felbontással, hanem a tekintet irányát követően dinamikus felbontással vetítik a képet. Ha ugyanis a szem tekintetének irányát érzékelik, és a megjelenítendő kép tekintetirányának megfelelő részét - a kép úgynevezett foveális részét nagy felbontásban jelenítik meg, az emberi agy úgy érzékeli, hogy a teljes kép nagy felbontású. A kép fennmaradó részét, amely amúgy is a retina kis felbontású részére esik, elegendő kisebb felbontásban is megjeleníteni.It is recognized in the art that this problem can be remedied by image display devices that project the image at a dynamic resolution rather than a homogeneous resolution in the eye. Because when they sense the direction of the eye's gaze, and display the high-resolution part of the image, the so-called foveal part of the image to be displayed, the human brain senses that the whole image is high-resolution. The rest of the image, which is in any case a low resolution part of the retina, should be displayed at a lower resolution.
A technika állása szerint számos ilyen megoldás létezik. A JP 09 305 156 A közzétételi iratban a tekintet irányát követő és a tekintet irányának centrumában magas felbontású képet előállító eljárást és berendezést ismertetnek. A berendezés az inhomogén felbontású képet speciális kijelzőegységgel jeleníti meg.In the art, many such solutions exist. JP 09 305 156 discloses a process and apparatus for following the direction of the gaze and producing a high resolution image in the center of the gaze. The unit displays an inhomogeneous image with a special display unit.
Az US 5,726,670 A szabadalmi leírásban a foveális rész magasabb felbontását torzított kép megjelenítésével, majd annak speciális optikával való visszaállításával állítják elő. Ez a megoldás is speciális megjelenítőeszköz alkalmazását teszi szükségessé.In U.S. Patent No. 5,726,670 A, a higher resolution of the foveal portion is obtained by displaying a distorted image and then restoring it with special optics. This solution also requires the use of a special display device.
Az US 5,422,653 A szabadalmi leírásban ismertetett rendszerrel szintén inhomogén felbontású videoképet jelenítenek meg. A megoldás szerint a képi információkban bekövetkezett változásoknak megfelelően jelenítik meg a változó felbontású képet egy passzív megfigyelő számára, akinek a tekintetét a felbontás változtatásával irányítják a kívánt helyre. Ez a megoldás nem ismertet tekintetkövetést, és ennek megfelelően nem alkalmas a találmányunk által kitűzött célok elérésére.The system described in U.S. Patent No. 5,422,653 A also provides an image of inhomogeneous resolution. The solution involves displaying a variable resolution image to a passive observer whose gaze is directed to the desired location by changing the resolution of the image information. This solution does not disclose sight and is therefore not suitable for the purposes of the present invention.
Az US 2002/0126065 A1 közzétételi iratban olyan megoldást ismertetnek, amelynél az egyik szembe egy kisméretű képrészt nagy felbontásban, a másik szembe pedig a fennmaradó képrészt kisebb felbontásban vetítik speciális optikai egységek alkalmazásával.US 2002/0126065 A1 discloses a solution in which one eye is projected at low resolution and the other eye is projected at lower resolution using special optical units.
Az US 2004/0227703 A1 közzétételi iratban inhomogén felbontású kijelzőt ismertetnek, amely az inhomogén képet speciális hardveres intézkedésekkel éri el. A képeket fizikailag változó felbontású kijelzővel jelenítik meg, és a jelforrásoldalon változó nagyítású lencsét használnak.US 2004/0227703 A1 discloses an inhomogeneous resolution display that achieves an inhomogeneous image by special hardware measures. Images are physically displayed on a variable-resolution display and a variable magnification lens is used on the source side.
Az US 2001/0043163 A1 közzétételi iratban olyan megoldást ismertetnek, amely a tekintet irányát visszavert infravörös sugárzással érzékeli, és egy speciális dinamikus lencsével a foveális részt nagy felbontásban jeleníti meg.US 2001/0043163 A1 discloses a solution that detects the direction of gaze by reflected infrared radiation and displays the foveal portion in high resolution with a special dynamic lens.
Az US 6,417,867 B1 szabadalmi leírásban olyan megoldást ismertetnek, amelyben a tekintet irányának vagy a kurzor pozíciójának megfelelően egy kijelző meghatározott területét felnagyítottan és nagy felbontásban, a többi részét pedig kisebb felbontásban jelenítik meg.U.S. Patent No. 6,417,867 B1 discloses a solution in which a given area of a display is magnified in high resolution and the remainder in lower resolution according to the direction of the gaze or the position of the cursor.
Az US 5,635,947 A szabadalmi leírásban egy-egy kijelzővel nagy látószögű kisebb felbontású, és kis látószögű nagy felbontású képet hoznak létre, és a tekintet irányának megfelelően a képeket kitakarással a szembe vetítik. A megoldás szerint a tekintet irányának megfelelően mozgatják a vetítő optikai elemeket.In U.S. Patent No. 5,635,947 A, a display produces a wide-angle, lower-resolution, and a low-angle, high-resolution image, and the images are projected obscured in the direction of the eye. The solution involves moving the optical elements of the projector in the direction of the gaze.
Az US 5,751,259 A szabadalmi leírásban ismertetett rendszer a tekintet irányában nagy felbontású képet, és azzal egyesített, a fennmaradó részen kisebb felbontású képet vetít a szembe. A rendszer tartalmaz a nagy felbontású képet és a kisebb felbontású képet előállító megjelenítőfelületeket, az azok által előállított sugárnyalábokat egyesítő és a szembe vetítő optikai rendszert, valamint az optikai eszközöket mozgató mechanizmust.The system described in U.S. Patent No. 5,751,259 A projects a high resolution image in the direction of sight and a lower resolution image combined with the rest. The system includes high-resolution and lower-resolution display surfaces, an optical system combining the beams produced by them and projecting to the eye, and a mechanism for moving optical devices.
A technika állása szerinti megoldások közös hátránya, hogy rendkívül bonyolult felépítésűek, és költségesen állíthatók elő. Az inhomogén felbontást megvalósító kijelzők és/vagy optikai rendszerek nem szabványos elemekből épülnek fel, ami a költségeket rendkívüli módon megnöveli. Amennyiben az inhomogén felbontást olyan kijelzővel valósítják meg, amely alkalmas a teljes nagy felbontású kép kijelzésére, a berendezés nem lesz használható a találmányunk szerinti célra, hiszen a bevezetőben említett méretcsökkentési és költségkorlátok jelentkeznek. A technika állása szerinti berendezések egy másik részénél a tekintet irányának megfelelő kijelzést az optikai elemek fizikai mozgatásával érik el. Ezek a mozgatómechanizmusok a berendezések költségét tovább növelik, és könnyen meghibásodhatnak, illetőleg elállítódhatnak.A common disadvantage of prior art solutions is that they are extremely complex in structure and costly to produce. Inhomogeneous displays and / or optical systems are made up of non-standard components, which greatly increases costs. If the inhomogeneous resolution is achieved with a display capable of displaying the full high resolution image, the apparatus will not be usable for the purpose of the present invention because of the size reduction and cost limitations mentioned in the introduction. In other parts of the state of the art, the direction of view is achieved by physically moving the optical elements. These actuators further increase the cost of the equipment and can easily be malfunctioned or adjusted.
Találmányunk célja egyrészt olyan képmegjelenítő eljárás és berendezés megalkotása, amely mentes a technika állása szerinti megoldások problémáitól. Találmányunk célja olyan eljárás és berendezés létreho2It is an object of the present invention to provide an image display method and apparatus which is free from the problems of the prior art. The object of the present invention is to provide a process and a device
HU 225 997 Β1 zása, amely a tekintet irányától függő inhomogén felbontást fixen rögzített optikai elemekkel valósítja meg. Célunk volt továbbá olyan eljárás és berendezés megalkotása, amely nem tesz szükségessé speciális optikai elemeket és/vagy kijelzőegységeket. Találmányunk további célja olyan képmegjelenítő eljárás és berendezés létrehozása, amelyben a nagy felbontású képrészlet a szem mozgásának megfelelően az optikai rendszer speciális kialakítása révén automatikusan mindig a retina nagy felbontású területére képződik le. Célunk volt még olyan eljárás és berendezés megalkotása, amellyel az olcsón gyártható alacsony felbontású kijelzők képét úgy módosíthatjuk, hogy abból lényegében ugyanannyi információ jusson el az agy látóközpontjáig, mint amennyi egy nagy felbontású kijelző esetén.EN 225 997 Β1, which provides a non-directional homogeneous resolution with fixed optical elements. It is also our object to provide a method and apparatus that does not require special optical elements and / or display units. It is a further object of the present invention to provide an image display method and apparatus in which a high resolution image portion is automatically automatically drawn into the high resolution area of the retina by special design of the optical system in accordance with eye movement. Another object of the present invention was to provide a method and apparatus for modifying the image of low-cost low-resolution displays to deliver substantially the same amount of information to the brain's vision center as a high-resolution display.
Ennek megfelelően a találmány egyrészt képmegjelenítö eljárás, amelynek során a tekintet irányát érzékeljük és a megjelenítendő képnek a retina nagy felbontóképességű területére leképeződő foveális részét egy első felbontásban, fennmaradó részét pedig az első felbontásnál kisebb második felbontásban jelenítjük meg. A találmány szerintAccordingly, the present invention is, firstly, an image display method comprising sensing the direction of the gaze and displaying a foveal portion of the image to be displayed in a high resolution region of the retina in a first resolution and the remainder in a second resolution smaller than the first resolution. According to the invention
- egy első megjelenítőfelületen a foveális részt az első felbontásban megjelenítjük, és az első megjelenítőfelületet blendenyíláson keresztül egy, a blendenyílást lényegében a szem forgási középpontjába leképező objektívegységgel a szembe egy első szögfelbontással leképezzük, valamint- displaying the foveal portion at a first resolution on a first display surface, and imaging the first display surface through a aperture with a lens unit that imposes the aperture substantially at the center of rotation of the eye and a first angle resolution, and
- egy második megjelenítőfelületen a képnek legalább a fennmaradó részét a második felbontásban megjelenítjük, és a második megjelenítőfelületet olyan érzékelt képmérettel képezzük le a szembe, amely megfelelne egy, az első felbontásban megjelenített teljes képnek az első szögfelbontással a szembe történő leképezése érzékelt képméretének.- displaying at least the remainder of the image on the second display surface in a second resolution, and mapping the second display surface to the eye with a sensed image size corresponding to the perceived image size of a first image displayed at first resolution in the eye.
A találmányi felismerés alapja az, hogy a fovea centalisra eső fénysugarak mindig áthaladnak a szem forgási középpontján (a pupilla, a forgási középpont és fovea centrális egy egyenesen helyezkednek el), tehát ha egy blendét úgy helyezünk el, hogy a blendenyílást egy optikai rendszer a szem forgási középpontjába képezze le, akkor a blendén áthaladó fénysugarak a foveára esnek. Ezeknek a sugaraknak csak egy kis része jut egyszerre a szembe, a tekintet irányától függően, de minden a blendenyíláson áthaladó fénysugár a foveára esik, ha bejut a szembe.The discovery of the invention is based on the fact that the rays of light falling on the fovea centalis always pass through the center of rotation of the eye (the pupil, the center of rotation and the center of the fovea are in a straight line), so when the aperture is positioned center of rotation, the rays of light passing through the blend will fall on the groove. Only a small part of these rays reaches the eye at one time, depending on the direction of the gaze, but all the rays of light passing through the aperture fall to the fove when it enters the eye.
A találmány szerint szögfelbontáson a szomszédos pixelek látószögét értjük. A felhasználó számára az általa látott kép érzékelt méretét olyanná kell tenni, mintha a teljes képet nagy felbontásban, azaz az első felbontásban látná. Ezért kell a második megjelenítőfelületet olyan érzékelt képmérettel - azaz például a felhasználó által érzékelt látószöggel - a szembe leképezni, amely megfelelne egy, az első felbontásban megjelenített teljes kép leképezésének az első szögfelbontással.According to the invention, angle resolution is defined as the viewing angle of adjacent pixels. For the user, the perceived size of the image they see should be made as if they were seeing the entire image at high resolution, that is, at first resolution. Therefore, the second display surface must be mapped to the eye with a sensed image size, such as a user-perceived viewing angle, that corresponds to a first image resolution of the entire image displayed at the first resolution.
A találmány szerinti eljárással biztosítjuk, hogy a szem forgási középpontján keresztül leképezett nagy felbontású kép mindig a retina nagy felbontású részére fog esni, miközben a kisebb felbontású kép találmány szerinti leképezése biztosítja a nagy felbontású képrészlet kisebb felbontású környezetének a szemre vetítését. A nagy felbontású képnek a blendenyíláson és a szem forgási középpontján keresztül való leképezése automatikusan biztosítja a foveális képrésznek a foveára való esését, így a tekintet irányának önmagában ismert módon való érzékelésével és az első megjelen ítőfelületen a megfelelő képrészlet megjelenítésével biztosíthatjuk a dinamikus megjelenítést. A találmány szerint a blendenyílásnak a szem forgási középpontjába történő leképezése alatt meghatározott tűréssel a forgási középpontba, illetőleg annak környezetébe való leképezést is értünk.The method of the present invention ensures that the high resolution image rendered through the center of rotation of the eye will always fall on the high resolution portion of the retina, while imaging the lower resolution image according to the invention provides a lower resolution environment for the high resolution image. Mapping the high resolution image through the aperture and center of rotation of the eye automatically ensures that the foveal image is dropped onto the fovea, so that it can be dynamically rendered by sensing the direction of gaze in a manner known per se and displaying the appropriate image on the first display. According to the invention, the mapping of the aperture to the center of rotation of the eye also includes a mapping to the center of rotation and to its vicinity with a defined tolerance.
Látható, hogy a találmány azon a felismerésen alapul, hogy egy nagy felbontású monitor képe által hordozott információnak egy adott pillanatban csak töredéke jut el az agy látóközpontjába, így alkotható olyan eljárás, amely ezt az információt egy kisebb felbontású, olcsó kijelző felhasználásával szolgáltatja. Amikor egy kép teljes információtartalmát fel akarjuk dolgozni, a kép kisebb területeit egymás után szekvenciálisán figyeljük meg. Ezért elegendő a képnek csak azon területét mutatni nagy felbontásban, amely a retina legnagyobb felbontású területére, a látógödörre (fovea centrális) képeződik le. A retina felbontóképessége a látógödörtől távolodva gyorsan csökken, ezért a távolabbi területekre leképezett képrészleteket elegendő kisebb felbontással megjeleníteni. A nagy felbontással megjelenített terület optikai képe a találmány szerint a tekintet irányát automatikusan követi.It will be appreciated that the invention is based on the recognition that only a fraction of the information carried by the image of a high-resolution monitor is transmitted to the brain's vision center at a given time, thus providing a method for providing this information using a lower-resolution, low-cost display. When processing the entire information content of an image, the smaller areas of the image are sequentially observed. Therefore, it is sufficient to show only the high resolution area of the image which is mapped to the highest resolution area of the retina, the fovea central. The resolution of the retina decreases rapidly as it moves away from the field of view, so it is sufficient to display portions of the image mapped to distant areas with a lower resolution. According to the invention, the optical image of the high resolution area automatically follows the direction of the eye.
Előnyös, ha az első megjelenítőfelületet egy első optikai egységgel a blendenyíláson keresztül vetítve első optikai képet állítunk elő, a második megjelenítőfelületet egy második optikai egységgel vetítve második optikai képet állítunk elő, amely első optikai képet és a második optikai képet az objektívegységgel képezzük le a szembe. Optikai képen a találmány szerint optikai elemek vagy azok kombinációja által egy megjelenítőfelületről alkotott képet értünk.Preferably, the first display surface is projected with a first optical unit through the aperture to produce a first optical image, the second display surface is projected with a second optical unit, which produces a second optical image and the second optical image with the lens unit. An optical image according to the invention is an image of a display surface formed by optical elements or a combination thereof.
A találmány egyik előnyös kiviteli alakját az jellemzi, hogy a blendenyílás és a szem között az első optikai kép és a második optikai kép sugárnyalábjait közös optikai tengellyel egyesítjük, ahol a szem forgási középpontja, a blendenyílás középpontja és az első megjelenítőfelület középpontja lényegében az optikai tengelyre esik. Ezen kiviteli alak szerint az egyesített sugárnyalábok rendkívül előnyösen, közös objektíven keresztül lehetnek a szemre vetítve.In a preferred embodiment of the invention, the beams of the first optical image and the second optical image between the aperture and the eye are combined with a common optical axis, wherein the center of rotation of the eye, center of the aperture and center of the first display surface is substantially on the optical axis. . According to this embodiment, the combined beams can be projected very positively over a common lens.
Egy másik előnyös kiviteli alak szerint a sugárnyalábok egyesítését a blendenyílással ellátott, az optikai tengellyel szöget bezáró első tükörrel valósítjuk meg. A találmány szerinti speciális tükör egymagában biztosítja a blendenyílásos leképezést és a sugárnyalábegyesítést.In another preferred embodiment, the beams are joined by a first mirror having an aperture that angles the optical axis. The special mirror of the invention alone provides aperture imaging and beam alignment.
Egy további előnyös kiviteli alak szerint az első megjelenítőfelületként és a második megjelenítőfelületként egyazon kijelzőegység megjelenítőfelületének két részét alkalmazzuk. Ez a kiviteli alak a találmány szerinti berendezés rendkívül alacsony költség melletti előállítását teszi lehetővé.In a further preferred embodiment, the first display surface and the second display surface are used in two parts of the display surface of the same display unit. This embodiment makes it possible to produce the apparatus according to the invention at extremely low cost.
HU 225 997 Β1HU 225 997 Β1
Egy különösen előnyös kiviteli alak szerint az első optikai képet és a második optikai képet egymással egybeesőén, egyazon méretben állítjuk elő, és az első optikai kép a tekintet irányának megfelelő pozícióban tartalmazza a foveális rész optikai képét.In a particularly preferred embodiment, the first optical image and the second optical image are produced coincidently in the same size, and the first optical image includes an optical image of the foveal portion at a position corresponding to the direction of vision.
Ennél az előnyös kiviteli alaknál az első kép tehát a tekintet irányának megfelelő pozícióban tartalmazza a nagy felbontású optikai képet. Az első optikai képet előnyösen a foveális rész többszörözésével állítjuk elő. A többszörözést példaképpen prizmás optikai eszközzel végezhetjük. Ennél a kiviteli alaknál példaképpen egyetlen objektívlencséből álló objektívet alkalmazunk az optikai képeknek a szembe való leképezéséhez, amelynek fókuszsíkjában állítjuk elő az első és második optikai képet.Thus, in this preferred embodiment, the first image contains a high resolution optical image in the correct orientation. Preferably, the first optical image is obtained by multiplying the foveal portion. The replication can be performed, for example, using a prismatic optical device. In this embodiment, for example, a single lens lens is used for imaging optical images in the eye, the first and second optical images being produced in the focal plane.
Egy másik, különösen előnyös kiviteli alakot az jellemez, hogy az első optikai kép csak a foveális rész optikai képét tartalmazza, és az első optikai képet és a második optikai képet azonos képsíkban állítjuk elő, ahol az első optikai kép és a második optikai kép méretaránya megfelel a foveális résznek a teljes képhez viszonyított méretarányának. Ennél a kiviteli alaknál tehát nem kell az első optikai kép előállításához többszörözni vagy más kitöltést alkalmazni, azonban az élességállításhoz a szemmel együtt mozgó további lencse, előnyösen kontaktlencse szükséges.Another particularly preferred embodiment is characterized in that the first optical image contains only the optical image of the foveal portion and the first optical image and the second optical image are produced in the same image plane, wherein the ratio of the first optical image to the second optical image is the proportion of the foveal part to the whole image. Thus, in this embodiment, the first optical image does not need to be duplicated or otherwise filled, however, further focusing, preferably a contact lens, is required for focusing.
A találmány másrészt képmegjelenítő berendezés, amely tartalmazAnother aspect of the present invention is an image display apparatus comprising
- tekintet irányát érzékelő eszközt,- a means of sensing direction,
- a megjelenítendő képnek a retina nagy felbontóképességű területére leképezendő foveális részét egy első felbontásban megjelenítő első megjelenítőfelületet,- a first display surface displaying a foveal portion of the image to be rendered on the high resolution area of the retina,
- a megjelenítendő képnek legalább a foveális részen kívüli részét az első felbontásnál kisebb második felbontásban megjelenítő második megjelenítőfelületet, valamint- a second display surface displaying at least a portion of the image to be displayed outside the foveal portion at a lower resolution than the first resolution, and
- az első megjelenítőfelületet és a második megjelenítőfelületet a szembe leképező optikai rendszert. A találmány szerint az optikai rendszer tartalmaz- an optical system mapping the first display surface and the second display surface to the eye. According to the invention, the optical system comprises
- blendenyílással ellátott optikai eszközt,- optical device with aperture,
- az első megjelenítőfelületről a blendenyíláson keresztül első optikai képet előállító első optikai egységet,- a first optical unit for producing a first optical image from the first display surface through the aperture,
- a második megjelenítőfelületről második optikai képet előállító második optikai egységet, valaminta second optical unit producing a second optical image from the second display surface, and
- a blendenyíiást lényegében a szem forgási középpontjába leképezve az első optikai képet a szembe egy első szögfelbontással leképező és a második optikai képet is a szembe leképező objektívegységet, ahol a második optikai kép leképezésének érzékelt képmérete megfelel egy olyan kép érzékelt képméretének, amely az első felbontásban megjelenített teljes képnek az első szögfelbontással a szembe történő leképezése esetén adódna.- mapping the aperture substantially to the center of rotation of the eye by mapping the first optical image to the eye with a first angular resolution and the second optical image imaging lens unit, wherein the perceived image size of the second optical image imaging corresponds to the perceived image size of would result from imaging the entire image with the first angle resolution facing the eye.
A találmány példaképpen! előnyös kiviteli alakjait a továbbiakban rajzokkal ismertetjük, ahol azThe invention by way of example! preferred embodiments are hereinafter described in the drawings, wherein
1. ábra egy emberi szem érzékenységének jelleggörbéjét bemutató diagram, aFigure 1 is a graph showing the sensitivity curve of the human eye, a
2. ábra egy példaképpen!, találmány szerinti képmegjelenítő berendezés blokkvázlata, aFIG. 2 is a block diagram of an image display apparatus according to the invention, a
3. ábra a találmány egyik különösen előnyös kiviteli alakja szerinti képmegjelenítő berendezés vázlatos optikai rajza, aFigure 3 is a schematic optical diagram of an image display apparatus according to a particularly preferred embodiment of the invention,
4. ábra a 3. ábra szerinti kiviteli alak esetén alkalmazott többszörözéses képmegjelenítés vázlata, azFIG. 4 is a schematic of the replication image display used in the embodiment of FIG. 3, FIG
5. ábra egy képtöbbszörözést lehetővé tevő példaképpen! optikai elrendezés vázlata, és aFIG. 5 illustrates an example for allowing image reproduction! sketch of an optical layout, and
6. ábra a találmány egy másik, különösen előnyös kiviteli alakja szerinti képmegjelenítő berendezés optikai vázlata.Figure 6 is an optical diagram of an image display apparatus according to another particularly preferred embodiment of the present invention.
Az 1. ábrán látható diagram egy emberi szem érzékenységének jelleggörbéjét mutatja be, és azon a szem relatív felbontóképessége látható a maximálishoz képest, a tekintet irányához viszonyított, fokokban mért szögeltérés függvényében. Az ábra jól érzékelteti, hogy a szem érzékenysége a foveánál, azaz az ábra közepén a legnagyobb és attól távolodva meredeken csökkenve egy viszonylag alacsony szintet ér el. Ezt a biológiai adottságot használjuk ki a találmány szerinti képmegjelenítő eljárásban és berendezésben, amely szerint tehát a megjelenítendő képnek a retina nagy felbontóképességű területén leképeződő foveális részét egy első felbontásban, a fennmaradó perifériális részét pedig az első felbontásnál kisebb második felbontásban jelenítjük meg.The diagram in Figure 1 illustrates the sensitivity curve of a human eye and shows the relative resolution of the eye in relation to the maximum as a function of angular deviation relative to the direction of the eye. The figure clearly illustrates that the sensitivity of the eye at the fovea, that is to say at the center of the figure, decreases steeply to a relatively low level. This biological endowment is utilized in the image display method and apparatus of the present invention such that the foveal portion of the image to be displayed is rendered in a first resolution and the remainder of the peripheral portion in a lower resolution than the first resolution.
A tekintet irányának érzékelésére számos technika állása szerinti megoldás létezik; e tekintetben utalunk a bevezetőben a technika állásának Ismertetésére. Az eredeti nagy felbontású képnek a nagy felbontásban megjelenítendő foveális részét a tekintet irányának megfelelően jelöljük ki, célszerűen szoftveres úton vagy megfelelő célhardver segítségével. A foveális rész mérete és alakja különböző lehet, a találmányunk szerint bármilyen olyan méret vagy alak elképzelhető, amely alkalmas arra, hogy a foveára, annak lényeges területére, illetve azt magában foglaló területre való leképezésre alkalmas.There are many prior art solutions for sensing the direction of gaze; in this respect reference is made in the introduction to the state of the art. The foveal part of the original high resolution image to be displayed in high resolution is selected according to the direction of the gaze, preferably by software or by means of appropriate target hardware. The foveal portion may be of various sizes and shapes, and in accordance with the present invention, any size or shape is conceivable that is suitable for imaging the foveal region, its substantial region, or the region comprising it.
A 2. ábrán egy találmány szerinti képmegjelenítő berendezés blokkvázlata látható, amelynek 10 bemenetére nagy felbontású, például 1024*768 (XGA) felbontású képjelet adunk. A képjel nagy felbontású jelforrás, például tévé, videó vagy számítógép képjele, amelyet a találmány szerint úgy alakítunk át, hogy a tekintet irányába eső, a látógödörre leképezett képrészletet a teljes eredeti felbontásban ábrázoljuk, míg a többi képrészletet a tekintet irányától messzebb kisebb felbontásban jelenítjük meg egy, az eredeti kép felbontásánál kisebb felbontású kijelzőn. Ezt a képjelet tehát 12 képátalakító egységgel a későbbiekben kifejtésre kerülő módon átalakítjuk, és az átalakított képet 14 kijelzőegységen megjelenítjük. A 14 kijelzöegység példaképpen 640*480 (VGA) vagy 320*240 pixel felbontású lehet. A 12 képátalakító egység és a 14 kijelzöegység vezérlésére célszerűen 16 mikrovezérlőt alkalmazunk. A fent elmondottak szerint a tekintet irányát 18 eszközzel érzékeljük, és az érzékelés eredményét a 16 mikrovezérlőre továbbítjuk. A tekintet érzékelt iránya határozzaFig. 2 is a block diagram of an image display device according to the present invention having a high resolution image signal, such as 1024 * 768 (XGA), applied to its 10 inputs. The image signal is a high-resolution signal source, such as a television, video, or computer image, which is converted according to the present invention so that the forward-looking image is mapped onto the field of view in full original resolution while the other image parts are rendered at a lower resolution. on a display with a lower resolution than the original image. This image signal is thus converted by means of the image conversion unit 12 as will be explained below, and the converted image is displayed on the display unit 14. For example, the display unit 14 may have a resolution of 640 * 480 (VGA) or 320 * 240 pixels. Microcontrollers 16 are preferably used to control the image conversion unit 12 and the display unit 14. As stated above, the direction of gaze is detected by means 18 and the result of the sensing is transmitted to the microcontroller 16. It is determined by the perceived direction of the gaze
HU 225 997 Β1 meg a 12 képátalakító egységgel végrehajtott képátalakítási műveletet. A 14 kijelzőegységgel megjelenített képet találmány szerinti 20 optikai rendszeren keresztül képezzük le a szembe.EN 225 997 Β1 perform the image conversion operation with the 12 image conversion units. The image displayed by the display unit 14 is imaged through an optical system 20 according to the invention.
Látható, hogy a 18 eszköz által végrehajtott érzékelés csak a képátalakítás műveleteinek bemenetéként szolgál, azaz az optikai rendszert nem szükséges vezérelni, hanem az fixen rögzített elemeket tartalmaz. Ezt az előnyt az alábbiakban kifejtésre kerülő speciális optikai rendszerrel érhetjük el.It can be seen that the sensing performed by the device 18 serves only as an input to the image conversion operations, i.e. the optical system does not need to be controlled, but includes fixed elements. This advantage can be achieved by the special optical system described below.
Az ábrázolt előnyös kiviteli alakban az első megjelenitőfelület és a második megjelenítőfelület egyazon 14 kijelzőegység megjelenítőfelületének két részét képezi. A 12 képátalakító egységgel ugyanis elektronikus úton rendkívül hatékonyan tudunk az osztott megjelenítőfelületen kis és nagy felbontású képeket egymás mellett megjeleníteni. Adott esetben természetesen az első és második megjelenítőfelületek külön kijelzőkkel is megvalósíthatók.In the preferred embodiment shown, the first display surface and the second display surface are two parts of the display surface of the same display unit 14. In fact, with the image conversion unit 12, it is possible to display low-resolution and high-resolution images side-by-side in the split display with great efficiency. Of course, the first and second display surfaces can, of course, also be provided with separate displays.
A 14 kijelzőegység további lényeges jellemzője, hogy az a 10 bemenetre érkező képjel felbontásánál kisebb felbontású. Célszerű, ha az első megjelenítőfelületen a maximális felbontást, azaz a 10 bemenetre érkező képjel eredeti felbontását alkalmazzuk, a második megjelenítőfelületen pedig képpontok elhagyásával és/vagy átlagolásával lecsökkenteti felbontást.Another important feature of the display unit 14 is that it has a lower resolution than the image signal received at the input 10. Preferably, the first display area uses the maximum resolution, i.e., the original resolution of the image signal arriving at the input 10, and the second display area reduces the resolution by omitting and / or averaging pixels.
A 3. ábrán a találmány egy különösen előnyös kiviteli alakja szerinti képmegjelenítő berendezés optikai rendszerének vázlata látható. A megjelenítendő képnek a retina nagy felbontóképességű felületére leképezendő foveális részét egy első 22 megjelenítendő felületen jelenítjük meg. Az első 22 megjelenítőfelületről első OU1 optikai egységgel 42 blendenyíláson keresztül a foveális részt tartalmazó első 011 optikai képet állítunk elő.Figure 3 is a schematic diagram of an optical system of an image display apparatus according to a particularly preferred embodiment of the present invention. The foveal portion of the image to be rendered on the high resolution surface of the retina is displayed on a first display surface 22. From the first display surface 22, a first optical image 011 containing the foveal portion is produced by a first optical unit OU1 through a aperture 42.
A berendezés tartalmaz továbbá második 32 megjelenítőfelületet, amelyen a megjelenítendő képnek legalább a foveális részen kívüli részét - azaz adott esetben például a foveális részt vagy annak egy részét is - az első felbontásnál kisebb második felbontásban jelenítjük meg. A második 32 megjelenítőfelületről második, OU2 optikai egységgel az első, 011 optikai képpel azonos 44 optikai tengellyel rendelkező második, OI2 optikai képet állítunk elő. A második felbontás is lehet inhomogén, adott esetben a foveális résztől távolodva a perifériális rész felbontása is csökkenhet. Ez például a látóiránytól távolodva az átlagolás mértékének növelésével valósítható meg. Ekkor az inhomogén felbontásból adódó képtorzulást megfelelő optikai eszközökkel kompenzálni kell.The apparatus further comprises a second display surface 32 for displaying at least a portion of the image to be displayed outside the foveal portion, i.e., optionally, the foveal portion or portion thereof, at a lower resolution than the first resolution. From the second display surface 32, a second OI2 optical image having a second optical unit OU2 having a first optical axis 44 having the same optical axis 011 is produced. The second resolution may also be inhomogeneous, and may also decrease the resolution of the peripheral portion away from the foveal portion. This can be done, for example, by moving away from the line of sight by increasing the amount of averaging. In this case, the distortion caused by the inhomogeneous resolution must be compensated by suitable optical devices.
A találmány szerint optikai tengelyen természetesen nemcsak egyenes vonalú optikai tengelyt, hanem például tükrökkel megtört vagy elasztikus fényvezető által meghatározott leképezési irányvonalat is értünk, azaz az optikai tengely kifejezést a lehető legtágabban értelmezzük.Of course, according to the invention, an optical axis is understood to mean not only a linear optical axis but also, for example, an imaging direction broken by mirrors or defined by an elastic light guide, i.e. the term optical axis is interpreted as broadly as possible.
Az ábrázolt előnyös kiviteli alak szerint a 42 blendenyílással ellátott optikai eszköz a 44 optikai tengellyel szöget bezáró és középen a 42 blendenyílást tartalmazó első 40 tükör. A 40 tükör célszerűen 45°-os szöget zár be a 44 optikai tengellyel, és a 42 blendenyílás foncsorozási hiánnyal van kialakítva. A 40 tükörrel rendkívül előnyösen megvalósítható az első, 011 optikai kép és a második, OI2 optikai kép sugárnyalábjainak a közös 44 optikai tengelyen való egyesítése, és ily módon az első és második, 011, OI2 optikai képeknek a szembe való közös leképezése. Az ábrázolt példaképpen! előnyös kiviteli alakban az első, 011 optikai képet és a második, OI2 optikai képet egymással egybeesőén, egyazon méretben állítjuk elő, ahol az optikai képek tehát mérethelyesek és az első, 011 optikai kép a tekintet irányának megfelelő pozícióban tartalmazza a foveális rész optikai képét.In the preferred embodiment illustrated, the optical device having the aperture 42 is a first mirror 40 having an angle with the optical axis 44 and having a aperture 42 in the center. The mirror 40 preferably has an angle of 45 ° with the optical axis 44 and the aperture 42 is formed with a lack of spinning. The mirror 40 is very advantageous in combining the beams of the first optical image 011 and the second optical image OI2 on a common optical axis 44, and thus the common imaging of the first and second optical images 011, O112 into the eye. By the example shown! in a preferred embodiment, the first optical image 011 and the second optical image O12 are produced in the same size, whereby the optical images are thus dimensionally correct and the first optical image 011 contains an optical image of the foveal portion in the correct orientation.
Az első, 011 optikai képet célszerűen a foveális rész optikai képének többszörözésével állítjuk elő, amely többszörözött kép a tekintet irányának megfelelő pozícióban is tartalmaz egy megfelelő optikai képrészt. A töbszörözött képnek a foveális pozícióban lévő képrészen kívüli részeihez tartozó fénysugarak nem jutnak a szembe. A blendenyíláson keresztül érkező minden sugár áthalad a szem középpontján, és ezek közül az, amelyik a pupillán át be is jut a szembe, csak a foveára eshet.Preferably, the first optical image 011 is produced by replicating an optical image of the foveal portion, which image also includes a corresponding optical image portion at a position corresponding to the direction of view. The rays of light outside of the foveural position of the amplified image are not exposed to the eye. All rays coming through the aperture pass through the center of the eye, and the one that enters the eye through the pupil can only fall into the groove.
A fentieknek megfelelően tehát az első, OU1 optikai egység tartalmaz első 24 lencsét és 26 optikai többszörözőeszközt. A második, OU2 optikai egység második 34 lencsét és második 36 tükröt tartalmaz. Az elmondottak szerint a 22 és 32 megjelenítőfelületek egyazon 14 kijelzőegység megjelenítőfelületének felosztásával is kialakíthatók. Ebben az esetben az optikai rendszer további tükröket és adott esetben lencséket is tartalmazhat.Thus, as described above, the first optical unit OU1 comprises a first lens 24 and an optical multiplier 26. The second optical unit OU2 comprises a second lens 34 and a second mirror 36. As stated above, the display surfaces 22 and 32 may be formed by dividing the display surface of the same display unit 14. In this case, the optical system may include additional mirrors and optionally lenses.
A fentiek szerint előállított 011 és OI2 optikai képeket célszerűen az OU3 objektívegység részét képező 46 objektív fókuszsíkjában állítjuk elő. Ebben az előnyös kiviteli alakban a 46 objektív szolgál sugáreltérítő és okulárlencseként. A 46 objektív állhat egyetlen objektívlencséből, de e célra bármilyen más objektívként funkcionáló optikai elem vagy elemegyüttes is alkalmazható. Az ábrán látható, hogy az első 22 megjelenítőfelület középpontja, a 42 blendenyílás középpontja és a szem 48 forgási középpontja a 44 optikai tengelyre esik. A közös 44 optikai tengelyre esés a találmány szerint természetesen kisebb-nagyobb tűréssel is megvalósítható.The optical images 011 and O12 produced as above are preferably produced in the focal plane of the lens 46 which is part of the OU3 lens unit. In this preferred embodiment, the lens 46 serves as a deflector and eyepiece lens. The lens 46 may consist of a single lens, but any other optical element or set of elements acting as a lens may be used for this purpose. The figure shows that the center of the first display surface 22, the center of the aperture 42 and the center of rotation 48 of the eye are on the optical axis 44. Naturally, falling on the common optical axis 44 can be achieved with less or greater tolerance.
A találmány szerint tehát az OU3 objektívegységgel, amely a 42 blendenyílást lényegében a szem 48 forgási középpontjába képezi le, a szembe az első, 011 optikai képet egy első szögfelbontással, a második, OI2 optikai képet pedig egy második szögfelbontással leképezzük. A második szögfelbontás kisebb, mint az első, azaz a szomszédos pixelek látószöge nagyobb a második, OI2 optikai kép esetében, mint az első, 011 optikai kép esetében. A felhasználó számára az általa látott kép érzékelt méretét olyanná kell tenni, mintha a teljes képet nagy felbontásban, azaz az első felbontásban látná. Ezért kell a második megjelenítőfelületet, illetve az arról képezett második, OI2 optikai képet olyan érzékelt képmérettel - azaz például a felhasználó által érzékelt látószöggel - a szembe leké5Thus, according to the invention, the lens unit OU3, which maps the aperture 42 to the center of rotation of the eye 48, imposes the first optical image 011 with a first angle resolution in the eye, and the second optical image OI2 with a second angle resolution. The second angle resolution is smaller than the first, i.e., the neighboring pixels have a larger field of view for the second OI2 optical image than the first 011 optical image. For the user, the perceived size of the image they see should be made as if they were seeing the entire image at high resolution, that is, at first resolution. That is why the second display surface and the second OI2 optical image formed therefrom need to be placed face-to-face with a sensed image size, such as a user-perceived angle of view5
HU 225 997 Β1 pezni, amely megfelelne egy, az első felbontásban megjelenített teljes képnek az első szögfelbontással történő leképezésének. Ezáltal a fovea környezetére, azaz a retina kisebb felbontású részeire ez a kis felbontású kép fog leképeződni.EN 225 997 Β1 rotate, which corresponds to mapping a complete image displayed at first resolution to the first angle resolution. This will render this low resolution image around the fovea, ie the lower resolution portions of the retina.
A nagy felbontású képrésznek a szem 48 forgási középpontján keresztül történő találmány szerinti leképezésével elérjük, hogy a szem a tekintet irányától függetlenül az első 22 megjelenítőfelületen megjelenített képet nagy felbontásban fogja látni. A tekintet irányának érzékelésére szolgáló 18 eszköz jelét használva pedig az első 22 megjelenítőfelületen mindenkor az aktuális foveális képrészletet tudjuk a nagyobb felbontásban megjeleníteni.By imaging the high resolution image portion through the center of rotation of the eye 48 in accordance with the present invention, the eye will be able to see the high resolution image displayed on the first display surface 22 irrespective of the direction of view. By using the signal 18 of the gaze detection device, the first display surface 22 is always able to display the current foveal image portion in higher resolution.
A 3. ábrán vastag pontozott vonallal a szem felfelé néző állapotában az első 22 megjelenítőfelület alsó széléről a szembe jutó fénysugarat ábrázoltuk. Ebben az állásban a szem felfelé nézve az első 22 megjelenítőfelület optikai képét látja a 42 blendenyíláson keresztül. A szem lefelé néző állapotában vékony pontvonallal jelölt fénysugár jelzi az első 22 megjelenítőfelület másik széléből a foveára jutó fénysugarat. A szem tehát ebben a helyzetben is az első 22 megjelenítőfelület optikai képét látja, azaz az optikai kép a szem mozgásával mozogni látszik. Megfigyelhető, hogy a szemgolyó mozgása során a látógödörre a kép más-más pontjából érkezik fény, de oda mindig a blendenyíláson keresztül, míg a retina többi részére az első 40 tükör felületéről.Figure 3 is a thick dotted line illustrating the beam of light entering the eye from the lower edge of the first display surface 22 in an upward facing position. In this position, the eye, looking upwards, sees an optical image of the first display surface 22 through the aperture 42. In the downward-facing position of the eye, the beam of light indicated by a thin dotted line indicates the beam of light from the other edge of the first display surface 22 to the groove. Thus, in this situation, the eye also sees an optical image of the first display surface 22, i.e., the optical image appears to move with the movement of the eye. It is noticeable that during the movement of the eyeball, light is seen from a different point in the image, but always through the aperture and the rest of the retina from the surface of the first 40 mirrors.
A második, 32 megjelenítőfelületről előállított második, OI2 optikai képet a pontozott vonalakkal meghatározott szélső állások szerinti képméretben vetítjük a szemre. Vastag szaggatott vonal jelzi a felső állásban a szemre jutó fénysugarat, és vékony szaggatott vonal jelzi az alsó állásban a szemre jutó fénysugarat. A második, OI2 optikai képnek szemre vetítése azt eredményezi, hogy az nem mozdul el a tekintet irányának függvényében, hanem a virtuálisan mozgó 011 optikai kép helyhez kötött hátterét képezi.The second optical image, O2, produced from the second display surface 32, is projected onto the eye at the outermost positions defined by dotted lines. A thick dashed line indicates the light beam reaching the eye in the upper position, and a thin dashed line indicates the light beam reaching the eye in the lower position. Projecting the second OI2 optical image results in it not moving in the direction of the gaze, but forming a stationary background of the virtual moving optical image 011.
A találmány szerinti megoldás úgy is felfogható, hogy a kisebb felbontással megjelenített részeket az optikai rendszerrel felnagyítjuk, és/vagy a teljes felbontású részt lekicsinyítjük. Az eszköz teljes látszó képmérete előnyösen körülbelül megfelel egy olyan monitor látszó képméretének, amelynek teljes felbontása a jelforrás eredeti felbontásával közel megegyezik, és amely szögfelbontása nagyjából megegyezik az átalakított kép tekintet irányába eső részének szögfelbontásával.Alternatively, the present invention may be understood to magnify portions displayed at lower resolutions with the optical system and / or to reduce the full resolution portion. Preferably, the device has an overall visible image size approximately equal to the apparent image size of a monitor having a resolution approximately equal to the original resolution of the source and having an angular resolution approximately equal to the angular portion of the transformed image.
A 4. ábrán a 3. ábra szerinti optikai rendszerrel megvalósított képalkotási folyamat állomásai láthatók. Az ábrán legfelül látható megjelenítendő 50 képen a tekintet érzékelt irányának megfelelő 52 foveális rész be van jelölve. Amint azt korábban már elmondtuk, a foveális rész bármilyen megfelelő alakkal és mérettel is rendelkezhet, amely alak és méret célszerűen az alkalmazott optikai rendszer függvénye. Az ábrázolt példaképpen! előnyös kiviteli alakban az 52 foveális rész az 50 kép területének egynegyede és ahhoz hasonló alakkal rendelkezik. Ennél a változatnál a 10 bemenetre érkező 50 képből a kis felbontású 60 képet célszerűen az 50 kép képpontjainak átlagolásával (nagyobb számítási igény) vagy függőlegesen és vízszintesen minden második képpont elhagyásával (kisebb számítási igény) állíthatjuk elő. Természetesen azonban bármilyen más felbontáscsökkentő eljárás is alkalmazható. A kis felbontású 60 képen az 52 foveális résznek megfelelő részt üresen is hagyhatjuk, de adott esetben a teljes 50 kép kis felbontású megjelenítésével ezt a foveális rész kis felbontású optikai képével is kitölthetjük.Figure 4 shows the stages of the imaging process implemented with the optical system of Figure 3. In the image 50 to be displayed at the top of the figure, the foveal portion 52 corresponding to the sensed direction of gaze is marked. As stated above, the foveal part may have any suitable shape and size, which shape and size is preferably dependent on the optical system used. By the example shown! in a preferred embodiment, the foveal portion 52 has a quarter of the image area 50 and the like. In this embodiment, the low resolution image 60 from the 50 images arriving at the input 10 may conveniently be obtained by averaging the pixels of the image 50 (higher computational demand) or omitting every second pixel vertically and horizontally (lower computational demand). Of course, however, any other resolution reduction method can be used. In the low resolution image 60, the portion corresponding to the foveal portion 52 may be left blank, but, if desired, by displaying the entire 50 image in low resolution, it may also be filled in with the low resolution optical image of the foveal portion.
A találmány szerinti optikai rendszer alkalmazása esetén belátható, hogy ha egy fénysugár nem halad át a szem forgási középpontján, akkor nem eshet a fovea centralisra. A kis felbontású 60 képnek az 52 foveális résznek megfelelő területéről a szembe fény nem jut, mert a blendenyílás kivágja az első 40 tükörről visszaverődő sugarak közül azokat, amelyek a foveára juthatnának. Azaz lényegében mindegy, hogy a második megjelenítőfelületen a képet a foveális rész üresen hagyásával jelenítjük-e meg, a szembe onnan fény nem juthat. A kihagyás olyan szempontból lehet előnyös, hogy kevesebb információt kell feldolgozni. A kis felbontású 60 képből a második, OU2 optikai egységgel állítjuk elő a 62 képet.When using the optical system of the present invention, it will be appreciated that if a beam of light does not pass through the center of rotation of the eye, it cannot fall on the fovea centralis. From the area of the low resolution image 60 corresponding to the foveal portion 52, no light is transmitted to the eye because the aperture cuts out the rays reflected from the first mirror 40 that could reach the groove. That is, it is essentially irrelevant whether the second display surface is depicted with the foveal part empty, and no light can reach the eye. The omission may be advantageous in the sense that less information needs to be processed. From the low resolution 60 images, the second OU2 optical unit produces the image 62.
Az 52 foveális részt pozícióhelyesen nagy felbontásban kell megjeleníteni. Ezt előnyösen az 52 foveális rész többszörözésével valósíthatjuk meg. A többszörözést célszerűen úgy végezzük, hogy az 50 képet a többszörözésnek megfelelően virtuális osztóráccsal felosztjuk, ami az ábrázolt előnyös kiviteli alakban egy függőleges és egy vízszintes vonallal való négyfelé osztást jelent.The foveal part 52 should be displayed in high-resolution position. This is preferably accomplished by multiplying the foveal portion 52. Preferably, the replication is performed by dividing the image 50 by a virtual divider grid according to the replication, which in the preferred embodiment is divided into four vertical and horizontal lines.
Az 52 foveális részt ezek az osztóvonalak átszelik, ami által az 54 kép szerinti képnegyedeket határoznak meg. Az 54 képet úgy alakítjuk át, hogy ezeket a képnegyedeket vízszintes és függőleges irányban egymással felcseréljük, és ezt az átalakított 56 képet kell az első 22 megjelenítőfelületen a képtöbbszörözéshez megjeleníteni. Így állítjuk elő a 4. ábra alján látható 58 képet. Az 58 képen látható, hogy a felcserélt képnegyedes kép többszörözésével a tekintet irányának megfelelő pozícióban az 52 foveális résznek megfelelő optikai kép látható.The foveal portion 52 is intersected by these dividing lines, which define the image quarters in FIG. The image 54 is converted by interchanging these quadrants horizontally and vertically and this converted image 56 must be displayed on the first display surface 22 for image reproduction. This produces the image 58 at the bottom of Figure 4. In Figure 58, it is seen that by multiplying the swapped quarter image, the optical image corresponding to the foveal portion 52 is displayed in the direction of the gaze.
A 4. ábra alján látható 58 képet első, 011 optikai képként, a 62 képet pedig második, OI2 optikai képként előállítva és azokat a találmány szerint a szembe vetítve a kívánt célkitűzést elérhetjük.The image 58 shown at the bottom of Figure 4 is obtained as the first optical image 011 and the image 62 as the second optical image O12 and can be projected in accordance with the invention to the desired object.
Az 5, ábrán a 4. ábrához hasonló képtöbbszörözés egy másik példája látható. Az 5. ábrán 64 képből olyan 66 képet állítunk elő, amely a 64 képet 16-szor tartalmazza. A képtöbbszörözést célszerűen két, 70, 72 prizmával valósítjuk meg. A 70 és 72 prizmák speciális pentaprizmák, amelyeknek egy, az optikai tengelyre merőleges beesési oldala és az optikai tengellyel szöget bezáró négy kilépési oldala van. A prizma törési szögei határozzák meg azt, hogy a sokszorozott rész négy részképe mennyivel tolódik el az eredeti pozícióhoz képest. Ezek a törésszögek az optikai elrendezés függvényében egyszerűen számíthatók. AzFigure 5 shows another example of image multiplication similar to Figure 4. Figure 5 shows 66 images out of 64 images that contain 16 images 64 times. The image multiplication is preferably accomplished with two prisms 70, 72. The prisms 70 and 72 are special pentaprisms having an inlet side perpendicular to the optical axis and four exit sides perpendicular to the optical axis. The prism prism defines the extent to which the four portions of the amplified portion are offset from their original position. These angles of refraction can easily be calculated depending on the optical arrangement. The
HU 225 997 Β1 első 70 prizma tehát a 64 képből vízszintes irányban négy, periodikusan ismétlődő képből álló sokszorozott képet állít elő, amely sokszorozott képet a 72 prizma függőlegesen is négyszeresen sokszorozza.Thus, the first prism 70 of 225,5997 Β1 thus produces a multiplied image of four periodically repeating images out of the 64 images horizontally, which also multiplies four times the prism 72 vertically.
A képsokszorozás természetesen nemcsak prizmákkal, hanem más megfelelő optikai elemekkel, például részlegesen áteresztő tükrökből álló elrendezéssel vagy lencseelrendezéssel is megvalósítható.Of course, image multiplication can be accomplished not only by prisms but also by other suitable optical elements, such as partially transmissive mirror arrangement or lens arrangement.
A 6. ábrán a találmány szerinti optikai rendszer egy másik előnyös kiviteli alakja látható. Ez a kiviteli alak részben abban tér el a 3. ábrán látható kiviteli alaktól, hogy nem tartalmazza a 26 optikai többszörözőeszközt, és az első, 011 optikai kép csak az 52 foveális rész optikai képét tartalmazza.Figure 6 shows another preferred embodiment of the optical system according to the invention. This embodiment differs in part from the embodiment shown in Figure 3 in that it does not include the optical reproduction device 26 and the first optical image 011 contains only the optical image of the foveal portion 52.
Ennél a kiviteli alaknál is az első és második, 011, 0I2 optikai képeket azonos képsíkban állítjuk elő, itt viszont az első, 011 optikai kép mérete úgy aránylik a második, 0I2 optikai kép méretéhez, mint az 52 foveális rész mérete a teljes 50 kép méretéhez. Az első és második, 011, 0I2 optikai képek közös képsíkja különbözik a 46 objektív fókuszsíkjától. Az első 22 megjelenítőfelületnek a szem forgási középpontjában a 42 blendenyíláson történő leképezésével ennél a kiviteli alaknál is biztosítjuk, hogy mindig a nagy felbontású kép fog a retina nagy felbontású részére esni.In this embodiment too, the first and second optical images 011, 012 are produced in the same image plane, but here the size of the first optical image 011 is proportional to the size of the second 012 optical image as the size of the foveural portion 52 . The common image planes of the first and second optical images 011, 012 differ from the focal plane of the lens 46. By imaging the first display surface 22 at the center of rotation of the eye at the aperture 42, it is also ensured in this embodiment that the high resolution image will always fall on the high resolution portion of the retina.
Látható, hogy ennél a kiviteli alaknál a háttérnek megfelelő második, 0I2 optikai képet erősebben nagyítjuk, azaz annak a felbontása kisebb lesz. A 46 objektív ennél a kiviteli alaknál is úgy téríti el a fénysugarakat, hogy az első 22 megjelenítőfelület optikai képe a szem mozgásával mozogni látszik és követi a tekintetet. A nagy felbontású képrész tehát minden tekintetirány esetén jó helyen látszik, és a felbontás aránya is a kívánt szintű, viszont ennél a kiviteli alaknál a megfelelő élesség eléréséhez szükség van az OU3 objektívegység részét képező további lencsére, célszerűen 49 kontaktlencsére. Ennél a kiviteli alaknál tehát elválasztottuk az okulárszerepet (49 kontaktlencse) és a sugáreltérítő szerepet (46 objektív).It can be seen that, in this embodiment, the second optical image corresponding to the background is magnified more strongly, i.e., its resolution is lower. In this embodiment, the lens 46 deflects the light rays so that the optical image of the first display surface 22 appears to move with eye movement and follows the eye. The high-resolution image is thus correctly positioned in all directions of view, and the resolution ratio is at the desired level, but in this embodiment, additional lenses, preferably 49 contact lenses, are required to obtain the correct sharpness. Thus, in this embodiment, the eyepiece role (49 contact lenses) and the radiation deflector role (46 lenses) are distinguished.
Az okulárlencseként a szemmel együtt mozgó kontaktlencse ennél a kiviteli alaknál egy egyszerű szférikus lencse, amely a technika állása szerinti változó nagyítású lencsékhez képest sokkal egyszerűbben megvalósítható és könnyebben kezelhető. Amennyiben például a kijelzőmodulból „ki kell nézni, nem kell a kontaktlencsét kivenni, hanem annak hatása egy egyszerű szemüveglencsével is kompenzálható.In this embodiment, the contact lens that moves with the eye as an ocular lens is a simple spherical lens which is much simpler and easier to handle than prior art variable magnification lenses. For example, if you need to "look at the display module, you do not have to remove the contact lens, but you can compensate for its effect with a simple spectacle lens.
A találmány szerint a foveális képrész nemcsak a szűk értelemben vett tekintetirány alapján határozható meg, hanem az példaképpen a kurzor, az egér vagy más pozíciókijelölő eszköz pointerének pozíciója alapján is kijelölhető. Ezek a meghatározott pozíciók ugyanis megfeleltethetők a figyelem, azaz a tekintet irányának. Ezen esetekben a 18 eszköz célszerűen a pozíciót érzékelő szoftvermodul. A leírásban és az igénypontokban a „tekintet iránya” kifejezést ilyen kiterjesztett értelmezéssel használjuk.In accordance with the present invention, the foveal image portion can be determined not only by a narrow sense of direction but also, for example, by the position of the pointer of a cursor, mouse, or other positioning device. These particular positions can be mapped to the direction of attention, that is, to the eye. In such cases, the device 18 is preferably a position sensing software module. The term "gaze" is used throughout this specification and the claims with such an extended interpretation.
A találmány szerinti képmegjelenítő eljárással és berendezéssel tehát elérjük azt, hogy tekintet irányától függetlenül a retina nagy felbontású részén egy első forrásból, a fennmaradó perifériális részekre pedig egy másik forrásból érkezik a fény. Mindezt mozgó alkatrészek alkalmazása nélkül, kizárólag optikai úton valósítjuk meg.The image display method and apparatus of the present invention thus obtains light from a first source in the high resolution portion of the retina and from another source in the remaining peripheral portions, regardless of direction. All this is done by optical means without the use of moving parts.
A találmány szerinti eljárás és berendezés természetesen egyaránt alkalmas álló- vagy mozgóképek megjelenítésére.Of course, the method and apparatus of the present invention are suitable for displaying still or moving images.
A találmány alkalmazható mindazon területeken, ahol nagy felbontású kijelző használatát igénylik, azonban azok jellemzően sokkal magasabb költsége, komplexitása és/vagy súlya nem elfogadható. Mivel a találmány igényli egy, a szem közelében elhelyezett optikai rendszer meglétét, az alkalmazás legfőképpen, bár nem kizárólagosan, fejre (szemüvegre, sisakra stb.) szerelhető kijelzők esetében előnyös. Ilyen alkalmazás lehet a hordozható videolejátszó, tévé, HDTV, hordozható számítógépek (notebook, PDA), játék és virtuálisvalóság-rendszerek, illetve mobiltelefon vagy videotelefon kijelzője. Előnyösen alkalmazható asztali monitor helyett, valamint orvosi vagy katonai területeken is.The invention is applicable in all areas requiring the use of a high resolution display, but typically with much higher costs, complexity and / or weight. Since the present invention requires the presence of an optical system located near the eye, the application is mainly, but not exclusively, advantageous for head-mounted displays (glasses, helmets, etc.). Such applications include portable video players, TVs, HDTVs, laptops (notebooks, PDAs), gaming and virtual reality systems, and mobile or videophone displays. It can be used in place of a desktop monitor and in medical or military applications.
A találmány szerinti megoldás előnye, hogy az olcsó, kis felbontású kijelzők felhasználásával a nagy felbontású kijelzők élményét nyújtja a felhasználónak. Mivel a kis felbontású kijelzők legalább olyan gyorsan fejlődnek, mint nagy felbontású társaik, ráadásul az új technológiák is ebben a szegmensben jelennek meg először, a találmány szerinti megoldás még sokáig előnyös áron biztosítja ugyanazt, vagy még jobb minőséget, mint a nagy felbontású megoldások.An advantage of the present invention is that it provides the user with the experience of high-resolution displays by using low-cost, low-resolution displays. Because low-resolution displays are evolving at least as fast as their high-resolution counterparts, and new technologies are emerging in this segment for the first time, the inventive solution provides the same or better quality for a long time at an affordable price than high-resolution solutions.
Claims (20)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| HU0600256A HU225997B1 (en) | 2006-03-27 | 2006-03-27 | Method and equipment for displaying images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| HU0600256A HU225997B1 (en) | 2006-03-27 | 2006-03-27 | Method and equipment for displaying images |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| HU0600256D0 HU0600256D0 (en) | 2006-05-29 |
| HUP0600256A2 HUP0600256A2 (en) | 2007-01-29 |
| HU225997B1 true HU225997B1 (en) | 2008-02-28 |
Family
ID=89986674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| HU0600256A HU225997B1 (en) | 2006-03-27 | 2006-03-27 | Method and equipment for displaying images |
Country Status (1)
| Country | Link |
|---|---|
| HU (1) | HU225997B1 (en) |
-
2006
- 2006-03-27 HU HU0600256A patent/HU225997B1/en not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| HUP0600256A2 (en) | 2007-01-29 |
| HU0600256D0 (en) | 2006-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10129520B2 (en) | Apparatus and method for a dynamic “region of interest” in a display system | |
| JP7179039B2 (en) | Compact eye-tracking head-mounted display | |
| RU2693329C2 (en) | Method and device for displaying with optimization of pixel redistribution | |
| US6529331B2 (en) | Head mounted display with full field of view and high resolution | |
| US6890077B2 (en) | Method and apparatus for high resolution video image display | |
| US20180031848A1 (en) | Binocular See-Through Augmented Reality (AR) Head Mounted Display Device Which is Able to Automatically Adjust Depth of Field and Depth Of Field Adjustment Method ThereforT | |
| US20120013988A1 (en) | Head mounted display having a panoramic field of view | |
| JP2018523321A (en) | A set of virtual glasses to see the actual scene, correcting the position of the lens different from the eye | |
| US10602033B2 (en) | Display apparatus and method using image renderers and optical combiners | |
| US11328643B2 (en) | Display unit | |
| WO2006106371A1 (en) | Display method and apparatus | |
| CN111929893A (en) | Augmented reality display device and equipment thereof | |
| HU225997B1 (en) | Method and equipment for displaying images | |
| US20200033613A1 (en) | Display apparatus and method of displaying using curved optical combiner | |
| US11532603B2 (en) | Display panel and head mounted device | |
| US20230244307A1 (en) | Visual assistance | |
| WO2023136073A1 (en) | Image display device and image display method | |
| Buecher | Wearable mobile display based on the human physiology to set new standards for human machine interfaces |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FH92 | Termination of representative |
Representative=s name: DR. KERESZTY MARCELL, GOEDOELLE, KEKES, MESZAR, HU |
|
| MM4A | Lapse of definitive patent protection due to non-payment of fees |