DE112013004718T5 - Bildverarbeitungsvorrichtung und Verfahren, und Programm, Drucker und Anzeigevorrichtung - Google Patents

Bildverarbeitungsvorrichtung und Verfahren, und Programm, Drucker und Anzeigevorrichtung Download PDF

Info

Publication number
DE112013004718T5
DE112013004718T5 DE112013004718.7T DE112013004718T DE112013004718T5 DE 112013004718 T5 DE112013004718 T5 DE 112013004718T5 DE 112013004718 T DE112013004718 T DE 112013004718T DE 112013004718 T5 DE112013004718 T5 DE 112013004718T5
Authority
DE
Germany
Prior art keywords
view
image
images
disparity
viewing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112013004718.7T
Other languages
English (en)
Other versions
DE112013004718B4 (de
Inventor
Masaaki Orimoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of DE112013004718T5 publication Critical patent/DE112013004718T5/de
Application granted granted Critical
Publication of DE112013004718B4 publication Critical patent/DE112013004718B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00Stereoscopic photography
    • G03B35/18Stereoscopic photography by simultaneous viewing
    • G03B35/24Stereoscopic photography by simultaneous viewing using apertured or refractive resolving means on screens or between screen and eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G06K15/021Adaptations for printing on specific media
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K2215/00Arrangements for producing a permanent visual presentation of the output data
    • G06K2215/0082Architecture adapted for a particular function
    • G06K2215/0097Printing on special media, e.g. labels, envelopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses

Abstract

Eine Bildverarbeitungsvorrichtung und -Verfahren in dem nicht nur ein Teilbild in einem Stereobild sondern ein Bild in einem großen Bereich nahe und ferner Seiten betrachtet werden können, werden bereitgestellt. Erste bis zwölfte Blickwinkelbilder werden erzeugt, sodass keine Disparität in einem als ein Hauptobjektbild spezifizierten Abschnitt auftritt. Erste bis dritte Blickwinkelbilder werden an einem linken Ende von Ansichtspositionen unter den ersten bis zwölften Blickwinkelbildern verschoben, um eine Disparität der als Nebenzielpunkte spezifizierten Objektbilder auf ”0” einzustellen. Die zehnten bis zwölften Blickwinkelbilder, die an dem rechten Ende der Ansichtspositionen betrachtet werden, werden verschoben, um eine Disparität des als Nebenzielpunkt spezifizierten Objektbilds auf ”0” einzustellen. Die Ansichtspositionen werden in einer horizontalen Richtung bewegt, um eine Objektdistanz eines auf einem Linsenstrukturblatt betrachteten Stereoansichtsbildes zu ändern.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung und -verfahren, und ein Programm, Drucker und Anzeigevorrichtung zur Verwendung beim Bilden und Zeigen eines Stereobildes.
  • STAND DER TECHNIK
  • Eine Technik zum Anzeigen eines Stereobildes durch Verwenden eines Linsenrasterblattes ist bekannt, wobei das Linsenrasterblatt eine große Anzahl von stabförmigen Linsen (zylindrischen Linsen) aufweist, die in einer horizontalen Richtung angeordnet sind. Streifenbilder, die auf eine Streifenweise gebildet werden durch Teilen rechter und linker Blickwinkelbilder, die durch Aufnehmen aus rechten und linken Blickwinkeln erhalten werden, werden auf einer Rückoberfläche des Linsenrasterblattes auf alternierende Weise angeordnet. Zwei in den Streifenbildern enthaltene benachbarte Streifenbilder werden unter einer der Linsen positioniert. Rechte und linke Augen sehen die rechten und linken Blickwinkelbilder mit einer Disparität durch die Linsen, sodass das Stereobild gesehen werden kann. Es ist auch bekannt, ein Bild mit mehreren Blickwinkeln, das durch N Blickwinkelbilder (N ist gleich oder größer als 3) gebildet wird, auf eine Streifenweise einzuteilen. N der Streifenbilder sind hinter einer der Linsen angeordnet, sodass ein stereoskopischer Effekt erhöht werden kann (siehe zum Beispiel Patentdokument 1).
  • Ein in dem Stereobild (nachstehend als ein Stereoansichtsbild bezeichnet) enthaltenes Bild wird von einem Betrachter in einer Darstellungsposition in einer Vorne-nach-Hinten-Richtung entsprechend einer Disparität erkannt. Um das Bild mit mehreren Blickwinkeln auf dem Linsenrasterblatt aufzuzeichnen, wird ein relativer Positionszusammenhang zwischen den Blickwinkelbildern normalerweise auf einen Zustand eingestellt, ohne Disparität an einem Punkt in dem Bild mit mehreren Blickwinkeln, zum Beispiel an einem Hauptobjekt. Deshalb wird das Stereoansichtsbild des Hauptobjekts auf dem Linsenrasterblatt gezeigt. Ein Stereoansichtsbild eines Objekts näher als das Hauptobjekt wird auf einer weiter vorne gelegenen Seite als das Linsenrasterblatt angezeigt. Ein Stereoansichtsbild eines Objekts weiter entfernt als das gleiche wird auf einer weiter hinten gelegenen Seite als das Linsenrasterblatt gezeigt.
  • Auch das Auftreten einer Überlagerung ist bekannt aufgrund einer Charakteristik der Linsen in dem Linsenrasterblatt beim Ansehen des Bildes mit mehreren Blickwinkeln durch das Linsenrasterblatt. Die Überlagerung ist ein Phänomen, in dem eines der korrekt anzuzeigenden Blickpunktbilder und eines der Blickpunktbilder benachbart zu diesem gleichzeitig gesehen werden beim Ansehen aus einem Blickpunkt mit einem Auge. Mehrere überlappende Bilder werden mit einer Vielzahl der zusammen überlappenden Blickpunktbilder gesehen. Eine Technik in Bezug auf die Überlagerung ist bekannt, in der eine Disparität der Blickpunktbilder automatisch entsprechend einer stereoskopischen Anzeigevorrichtung zur Verwendung beim Ansehen des Stereobildes angepasst wird (siehe Patentdokument 2).
  • In dem oben genannten Patentdokument 2 werden Schritte in Reihe ausgeführt, enthaltend einen Schritt zum Erfassen einer Disparität zwischen Blickwinkelbildern in einem Stereobild, einen Schritt zum Erfassen von Geräteinformation betreffend eine Stereoanzeigevorrichtung zur Verwendung beim Ansehen, einen Schritt zum Bestimmen einer virtuellen Blickwinkelposition entsprechend einer Vielzahl von Blickwinkelbildern, die aus dem Stereobild zu erzeugen sind, und einen Schritt zum Erzeugen eines virtuellen Blickwinkelbildes entsprechend der bestimmten virtuellen Blickwinkelposition. Die virtuelle Blickwinkelposition entspricht einer Fotografierposition einer Kamera zum virtuellen Fotografieren des virtuellen Blickwinkelbildes. Beim Bestimmen der virtuellen Blickwinkelposition wird die Disparität zwischen den Blickwinkelbildern benachbart zu der Gesamtheit des Stereobildes eingestellt gleich oder kleiner einer tolerierbaren Disparität der Anzeige, während das virtuelle Blickwinkelbild auf der Stereoanzeigevorrichtung zur Verwendung angezeigt wird. Die tolerierbare Disparität der Anzeige zur Verwendung wird so bestimmt, dass zum Beispiel keine unkomfortable Erscheinung dem Betrachter gezeigt wird, sogar unter der Annahme, dass mehrere überlappende Bilder mit Überlagerung gesehen werden.
  • STAND DER TECHNIK DOKUMENTE
  • Patentdokumente
    • Patentdokument 1: Japanische Patentveröffentlichung Nr. 2011-154301
    • Patentdokument 2: Japanische Patentveröffentlichung Nr. 2006-115198
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Von der Erfindung zu lösende Probleme
  • Es wird angemerkt, dass, unter der Annahme, dass ein relativer Positionszusammenhang zwischen den Blickwinkelbildern eingestellt wird ohne Disparität, zum Beispiel, an dem Hauptobjekt, wie oben beschrieben, der Grad der Disparität des Objekts sich vergrößert entsprechend einer Größe der Objektdistanz bezogen auf das Hauptobjekt zwischen benachbarten der Blickwinkelbilder. Dementsprechend verursacht ein Objekt mit einer großen Differenz von dem Hauptobjekt in der Objektdistanz mehrere überlappende Bilder mit einem großen Offset zwischen Bildern aufgrund der Überlagerung, und kann nicht klar gesehen werden. Ein Problem kann auftreten, dass der stereoskopische Effekt verringert wird beim Reduzieren der Disparität auf einen Pegel gleich oder kleiner als die tolerierbare Disparität der Anzeige, wie in Patentdokument 2 offenbart.
  • Es ist eine Aufgabe der vorliegenden Erfindung, eine Bildverarbeitungsvorrichtung und -verfahren und ein Programm, Drucker und Anzeigevorrichtung bereitzustellen zum Erzeugen eines Bildes mit mehreren Blickwinkeln, in denen nicht nur ein Teilbild eines Blickwinkelbildes, sondern auch ein Bild eines großen Bereiches eines nahen und entfernten Zustands klar gesehen werden können.
  • Mittel zum Lösen der Probleme
  • Um die obige Aufgabe zu lösen enthält eine Bildverarbeitungsvorrichtung der vorliegenden Erfindung eine Bestimmungsvorrichtung, eine Arithmetikvorrichtung und eine Verschiebevorrichtung. Die Bestimmungsvorrichtung bestimmt eine Änderungsbedingung einer Änderung einer Darstellungsposition beim Bewegen einer Ansichtsposition von gesehenen Blickwinkelbildern in einer horizontalen Richtung. Die Darstellungsposition ist eine Position in einer Vorne-nach-Hinten-Richtung in einem Objektbild innerhalb eines Stereobildes, das mit einem Bild mit mehreren Blickwinkeln ansehbar ist, das gebildet wird durch Blickwinkelbilder mit drei oder mehr Blickwinkeln. Die Arithmetikvorrichtung erfasst einen Verschiebebetrag zum Ändern der Darstellungsposition in einer Disparitätsrichtung entsprechend der Änderungsbedingung, die von der Bestimmungsvorrichtung für jedes der Blickwinkelbilder bestimmt wird. Die Verschiebevorrichtung verschiebt die Blickwinkelbilder in der Disparitätsrichtung jeweils mit dem von der Arithmetikvorrichtung erfassten Schiftbetrag in den Disparitätsrichtungen.
  • Bevorzugterweise wird eine Spezifizierungsvorrichtung bereitgestellt zum Spezifizieren eines Hauptobjektsabschnitts innerhalb der Blickwinkelbilder. Die Bestimmungsvorrichtung bestimmt die Änderungsbedingung der Darstellungsposition, sodass ein Bild des Hauptobjektabschnitts auf einer das Bild mit mehreren Blickwinkeln anzeigenden Ansichtsoberfläche gesehen wird von einer ersten Ansichtsposition der Vorderseitenansicht der Ansichtsoberfläche. Die Arithmetikvorrichtung erfasst den Verschiebebetrag für die Blickwinkelbilder, um eine Disparität des Hauptobjektabschnitts zwischen den Blickwinkelbildern, die von der ersten Ansichtsposition betrachtet werden, zu eliminieren.
  • Bevorzugterweise wird eine Zeigevorrichtung bereitgestellt zum Zeigen eines Zielpunkts in den Blickwinkelbildern. Die Bestimmungsvorrichtung bestimmt die Änderungsbedingung der Darstellungsposition entsprechend einem von der Zeigevorrichtung gezeigten Ziel.
  • Bevorzugterweise enthält der Zielpunkt erste und zweite Zielpunkte. Die Bestimmungsvorrichtung bestimmt die Änderungsbedingung der Darstellungsposition, sodass ein Bild eines ersten Zielpunkts gesehen wird auf einer das Bild mit mehreren Blickwinkeln anzeigenden Ansichtsoberfläche von einer ersten Ansichtsposition der Vorderseitenansicht der Ansichtsoberfläche, und dass ein Bild der zweiten Zielposition betrachtet wird auf der Ansichtsoberfläche von einer zweiten Ansichtsposition von einer Vorderseite entweder nach rechts oder nach links in der horizontalen Richtung abgesetzt ist. Die Arithmetikvorrichtung erfasst den Verschiebebetrag für die Blickwinkelbilder, um eine Disparität des ersten Zielpunkts zwischen den von der ersten Ansichtsposition betrachteten Blickwinkelbildern zu eliminieren, und um eine Disparität des zweiten Zielpunkts zwischen den von der zweiten Ansichtsposition betrachteten Blickwinkelbildern zu eliminieren.
  • Weiterhin wird vorteilhafterweise eine Spezifizierungsvorrichtung bereitgestellt zum Spezifizieren eines Hauptobjektabschnitts innerhalb der Blickwinkelbilder. Die Bestimmungsvorrichtung definiert einen ersten Zielpunkt aus dem Hauptobjektabschnitt, der von der Spezifizierungsvorrichtung spezifiziert wird.
  • Weiterhin wird vorteilhafterweise eine Spezifizierungsvorrichtung bereitgestellt zum Spezifizieren eines Hauptobjektabschnitts innerhalb des Blickpunktbildes, um einen ersten Zielpunkt aus dem spezifizierten Hauptobjektabschnitt zu definieren, und eine Zeigevorrichtung zum Zeigen eines zweiten Zielpunkts in dem Blickwinkelbild.
  • Die Bestimmungsvorrichtung bestimmt weiterhin bevorzugterweise die Änderungsbedingung der Darstellungsposition in einem Modus zum Eliminieren einer Disparität des Zielpunkts zwischen Blickpunktbildern von drei oder mehr aufeinanderfolgenden Blickwinkeln.
  • Die Bestimmungsvorrichtung bestimmt weiterhin bevorzugterweise die Änderungsbedingung der Darstellungsposition entsprechend eines Disparitätsbereichs zwischen den Blickwinkelbildern.
  • Die Bestimmungsvorrichtung bestimmt weiterhin bevorzugterweise die Änderungsbedingung der Darstellungsposition auf solch eine Weise, dass ein auf einer Ansichtsoberfläche wiedergegebenes Bild verschoben wird von einem am weitesten entfernten Objektbilds zu einem nächstgelegenen Objektbild auf annähernd kontinuierliche Weise durch Bewegen einer Ansichtsposition von einer der rechten und linken Endansichtspositionen zu einer verbleibenden der rechten und linken Endansichtspositionen.
  • Die Bestimmungsvorrichtung bestimmt weiterhin bevorzugterweise die Änderungsbedingung der Darstellungsposition entsprechend einer Verteilung von Disparität zwischen Blickwinkelbildern in der horizontalen Richtung.
  • Weiterhin wird bevorzugterweise ein Unschärfeprozessor bereitgestellt zum Verwischen von Bildpunkten in den Blickwinkelbildern durch Verwenden eines Unschärfebetrags entsprechend einer Disparität nach einer Verschiebung der Verschiebevorrichtung zwischen entsprechenden Bildpunkten benachbarter Blickwinkelbilder.
  • Ein Drucker der vorliegenden Erfindung enthält eine oben beschriebene Bildverarbeitungsvorrichtung, einen Streifenprozessor und eine Druckvorrichtung. Der Streifenprozessor erzeugt Streifenbilder aus Blickwinkelbildern, die von der Bildverarbeitungsvorrichtung verschoben werden. Die Druckvorrichtung verteilt und zeichnet die Streifenbilder in Bereichen auf entsprechend den Linsen eines Linsenrasterblattes oder Schlitzen einer paralaxen Barriere.
  • Eine Anzeigevorrichtung der vorliegenden Erfindung enthält eine oben beschriebene Bildverarbeitungsvorrichtung, einen Streifenprozessor und eine Anzeigevorrichtung. Die Anzeigevorrichtung weist ein Linsenrasterblatt oder eine Paralaxenbarriere auf, die auf einer Anzeigeoberfläche angebracht ist, zum Anordnen und Anzeigen der Streifenbilder in Bereichen der Anzeigeoberfläche entsprechend den Linsen des Linsenrasterblatts oder Schlitzen der Paralaxenbarriere.
  • Ein Bildverarbeitungsverfahren der vorliegenden Erfindung enthält einen Bestimmungsschritt, einen Erfassungsschritt und einen Verschiebeschritt. In dem Bestimmungsschritt wird eine Änderungsbedingung einer Änderung einer Darstellungsposition beim Bewegen einer Ansichtsposition einer Ansicht von Blickpunktbildern in einer horizontalen Richtung bestimmt. Die Darstellungsposition ist eine Position in einer Vorne-nach-Hinten-Richtung in einem Objektbild innerhalb eines mit einem Bild mit mehreren Blickwinkeln betrachtbaren Stereobildes, das gebildet wird durch Blickwinkelbilder von drei oder mehr Blickwinkeln. In dem Erfassungsschritt wird ein Verschiebebetrag zum Verschieben der Darstellungsposition erfasst entsprechend der Änderungsbedingung, die in dem Bestimmungsschritt bestimmt wird, für jedes der Blickwinkelbilder. In dem Verschiebeschritt werden die Blickwinkelbilder jeweils verschoben mit dem Verschiebebetrag, der in dem Erfassungsschritt erfasst wird, in Disparitätsrichtungen.
  • Ein Bildverarbeitungsprogramm der vorliegenden Erfindung führt den Bestimmungsschritt, den Erfassungsschritt und den Verschiebeschritt in einem Computer durch.
  • Effekt der Erfindung
  • In der vorliegenden Erfindung wird die Darstellungsposition in der Vorne-nach-Hinten-Richtung eines Stereoansichtsbildes, das ohne Disparität entsprechend einer Ansichtsposition betrachtet wird, geändert, um einen Bildabschnitt zu bewegen, der betrachtet wird, ohne dass sich Disparität in der Vorne-nach-Hinten-Richtung in einem dreidimensionalen Raum bewegt. Somit kann ein Stereobild insgesamt klar betrachtet werden.
  • KURZE BESCHREIBUNG DER ABBILDUNGEN
  • 1 ist eine perspektivische Ansicht, die ein Linsenrasterblatt darstellt;
  • 2 ist eine beispielhafte Ansicht, die einen Zusammenhang zwischen jedem Unterbereich eines Bildbereichs und einer Ansichtsposition darstellt;
  • 3 ist ein Blockdiagramm, das einen Drucker darstellt, in dem die vorliegende Erfindung ausgeführt wird,
  • 4 ist eine Graphik, die einen Zusammenhang zwischen einer Disparität in einer Unschärfeverarbeitung und einem Unschärferadius darstellt;
  • 5 ist eine beispielhafte Ansicht, die ein Beispiel eines Bildes mit mehreren Blickwinkeln zeigt, das durch eine Mehrblickwinkelbilderzeugungsvorrichtung erzeugt wird;
  • 6 ist eine Graphik, die ein Beispiel eines Zusammenhangs zwischen der Ansichtsposition und einer Objektdistanz eines auf einem Linsenrasterblatt betrachteten Stereoansichtsbildes zeigt;
  • 7 ist eine Graphik, die ein Beispiel eines Verschiebebetrags jedes Blickwinkelbildes in einem Beispiel der 6 zeigt;
  • 8 ist eine beispielhafte Ansicht, die ein Beispiel eines Bildes mit mehreren Blickwinkeln nach einer Verschiebung zeigt;
  • 9 ist eine beispielhafte Ansicht, die eine Darstellungsposition jedes Stereoansichtsbildes zu einer Zeit einer Vorderseitenbetrachtung zeigt;
  • 10 ist eine beispielhafte Ansicht, die einen Unschärfezustand jedes Stereoansichtsbildes zur Zeit einer Vorderansichtsbetrachtung zeigt;
  • 11 ist eine beispielhafte Ansicht, die die Darstellungsposition jedes Stereoansichtsbildes beim Betrachten vom linken Ende der Ansichtsposition darstellt;
  • 12 ist eine beispielhafte Ansicht, die einen Unschärfezustand jedes Stereoansichtsbildes beim Betrachten von dem linken Ende der Ansichtsposition darstellt;
  • 13 ist eine beispielhafte Ansicht, die die Darstellungsposition jedes Stereoansichtsbildes beim Betrachten vom rechten Ende der Ansichtsposition darstellt;
  • 14 ist eine beispielhafte Ansicht, die einen Unschärfezustand jedes Stereoansichtsbildes beim Betrachten von dem rechten Ende der Ansichtsposition darstellt;
  • 15 ist eine Graphik, die ein weiteres Beispiel eines Zusammenhangs zwischen der Ansichtsposition und einer Objektdistanz des Stereoansichtsbildes, das auf dem Linsenrasterblatt betrachtet wird, darstellt;
  • 16 ist eine Graphik, die ein Beispiel eines Verschiebebetrages jedes Blickwinkelbildes in dem Beispiel der 15 darstellt;
  • 17 ist eine Graphik, die ein Beispiel eines Zusammenhangs zwischen der Ansichtsposition beim Benennen einer der Unterzielpunkte und einer Objektdistanz des auf dem Linsenrasterblatt betrachteten Stereoansichtsbildes darstellt;
  • 18 ist eine Graphik, die ein Beispiel eines Verschiebebetrags für das Blickwinkelbild in dem Beispiel der 17 darstellt;
  • 19 ist eine Graphik, die ein Beispiel darstellt, in dem eine Objektdistanz des auf dem Linsenrasterblatt betrachteten Stereoansichtsbildes annähernd kontinuierlich in einem Disparitätsbereich geändert wird;
  • 20 ist eine Graphik, die ein Beispiel eines Verschiebebetrags des Blickwinkelbildes in dem Beispiel der 19 darstellt;
  • 21 ist ein Flussdiagramm, das ein Beispiel einer Bestimmung einer Änderungsbedingung der Darstellungsposition des Stereobildes entsprechend einer Disparitätsverteilung des Blickwinkelbildes darstellt;
  • 22 ist eine Graphik, die ein Beispiel eines Zusammenhangs zwischen der Ansichtsposition in einem Beispiel zum Teilen des Blickpunktbildes durch vier und eine Objektdistanz des auf dem Linsenrasterblatt betrachteten Stereoansichtsbildes darstellt;
  • 23 ist eine beispielhafte Ansicht, die ein Beispiel einer Anzeige des Stereobildes in einem Paralaxenbarriereverfahren darstellt;
  • 24 ist ein Blockdiagramm, das einen Aufbau einer Anzeigevorrichtung zum Anzeigen des Stereobildes darstellt;
  • AUSFÜHRUNGSFORMEN
  • Wie in 1 dargestellt, weist ein Linsenrasterblatt (Linsenrasterplatte) 11 eine große Anzahl von ungefähr stabförmigen Linsen 14 (zylindrische Linsen), die auf ihrer Vorderoberfläche auf eine wohlbekannte Weise angeordnet sind. Eine Rückoberfläche 11a des Linsenrasterblatts 11 ist flach. Die Linsen 14 sind in einer horizontalen Richtung einer Ansicht eines Stereobildes (Richtung einer Linie, die beide Augen eines Betrachters durchläuft) angeordnet, und erstrecken sich in einer Richtung senkrecht zu der horizontalen Richtung. Eine Bildaufnahmeschicht (nicht gezeigt) ist auf der Rückoberfläche 11a des Linsenrasterblatts 11 ausgebildet. Farbtinte wird auf der Bildaufnahmeschicht angeordnet, um jeweilige Blickwinkelbilder (Blickpunktbilder) aufzuzeichnen.
  • Wie in 2 dargestellt werden Bildbereiche 15 auf der Rückoberfläche 11a des Linsenrasterblatts 11 jeweils für die Linsen 14 virtuell definiert. Einer der Bildbereiche 15 entspricht einer der Linsen 14. In 2 wird ein Abschnitt entsprechend der Rückoberfläche 11a dargestellt mit einer Dicke für eine geeignete Beschreibung. Jeder der Bildbereiche wird virtuell in eine Anordnungsrichtung der Linsen 14 entsprechend der Anzahl von Blickwinkelbildern aufgeteilt. Ein Beispiel eines Bildes mit mehreren Blickwinkeln kann ein Bild mit drei oder mehr Blickwinkeln sein. In der Ausführungsform werden erste bis zwölfte Blickwinkelbilder verwendet. Der Bildbereich 15 wird in erste bis zwölfte Unterbereiche F1–F12 eingeteilt entsprechend den ersten bis zwölften Blickwinkelbildern in einem Eins-zu-Eins-Zusammenhang. In den ersten bis zwölften Unterbereichen F1–F12 werden Streifenbilder des entsprechenden Blickwinkelbildes aufgezeichnet. Die Streifenbilder werden definiert durch Einteilen der Blickwinkelbilder in einer Streifenform.
  • In dem Bildbereich 15 gibt es einen ersten Unterbereich F1 an einem rechten Ende. Ein zweiter Unterbereich F2, ein dritter Unterbereich F3... und ein zwölfter Unterbereich F12 sind in Reihe von dem ersten Unterbereich F1 nach links angeordnet. Ein Streifenbild des ersten Blickwinkelbildes wird in dem ersten Unterbereich aufgezeichnet. Streifenbilder der zweiten, dritten ... und zwölften Blickwinkelbilder werden in den zweiten, dritten, ... und zwölften Unterbereichen aufgezeichnet.
  • Streifenbilder eines Paars von benachbarten Blickwinkelbildern werden durch die Linsen 14 des Linsenrasterblattes 11 betrachtet. Falls das Linsenrasterblatt 11 von einer Betrachtungsposition an dem linken Ende betrachtet wird, wird zum Beispiel ein Paar von Streifenbildern, die in den ersten und zweiten Unterbereichen F1 und F2 aufgezeichnet sind, betrachtet. Falls das Linsenrasterblatt 11 von der Ansichtsposition an dem rechten Ende betrachtet wird, werden Streifenbilder betrachtet, die in dem elften und zwölften Unterbereichen F11 und F12 aufgezeichnet sind. Somit kann das Stereobild durch die Linsen 14 betrachtet werden.
  • In 3 bildet ein Drucker 10 erste bis zwölfte Blickpunktbilder der zwölf Blickpunkte aus einem Stereobild (rechte und linke Blickpunktbilder). Jedes Blickpunktbild wird eingeteilt in eine große Anzahl von Streifenbildern, die auf dem Linsenrasterblatt 11 aufgezeichnet werden. Zum Beispiel wird ein Stereobild eingegeben, das von einer Stereokamera aufgenommen wird. Man beachte, dass es möglich ist, ein von einem Computer oder dergleichen gebildetes Stereobild einzugeben. Auch kann ein Bild mit mehreren Blickwinkeln, das durch Bildaufnahme gebildet wird, eingegeben werden anstelle einer Bildung des Bildes mit mehreren Blickwinkeln aus dem Stereobild.
  • Wie in 1 dargestellt, enthält der Drucker 10 ein Eingabegerät 21, eine Bildverarbeitungsvorrichtung 22, einen Streifenprozessor 23 und ein Druckgerät 24. Das Eingabegerät 21 wird gebildet aus einer Schnittstellenschaltung zum Eingeben von Daten oder dergleichen, und empfängt Eingaben eines Stereobildes und dessen Blickwinkelinformation zur Zeit einer Bildaufnahme, wobei die Stereobilder ein Ursprung der ersten bis zwölften Blickwinkelbilder sind, die auf dem Linsenrasterblatt aufzuzeichnen sind. Unter den Stereobildern ist ein linkes Blickwinkelbild ein Bild, das von einem linken Blickwinkel aufgenommen wird, der in den zwei Blickwinkeln von rechts und links enthalten ist. Ein rechtes Blickwinkelbild ist ein Bild, das von dem rechten Blickwinkel aufgenommen wird.
  • Die Bildverarbeitungsvorrichtung 22 bildet erste bis zwölfte Blickwinkelbilder von zwölf Blickwinkeln aus dem Stereobild, das in das Eingabegerät eingegeben wird. Die Bildverarbeitungsvorrichtung 22 bestimmt auch eine Änderungsbedingung einer Darstellungsposition eines Bildes innerhalb des Stereobildes in einer Hinten-nach-Vorne-Richtung entsprechend einer Änderung einer Ansichtsposition in einer horizontalen Richtung und führt eine Verarbeitung zum Ändern der Darstellungsposition durch. Die Bildverarbeitungsvorrichtung 22 enthält eine Disparitätsabbildungs-Bildungsvorrichtung 25, eine Mehransichtsbilderzeugungsvorrichtung 26, eine Spezifizierungsvorrichtung 27, eine Wandlungseinheit 28 und einen Unschärfeprozessor 29. Die Bildverarbeitungsvorrichtung 22 wird zum Beispiel durch einen Computer ausgebildet, der ein Programm für die Bildverarbeitung ausführt, um Aufgaben verschiedener Elemente durchzuführen.
  • Die Disparitätsabbildungs-Bildungsvorrichtung 25 erzeugt und gibt eine Disparitätsabbildung von rechten und linken Blickwinkelbildern des in das Eingangsgerät 21 eingegebene Stereobild aus. Wie später beschrieben werden wird, falls erste bis zwölfte Blickwinkelbilder, deren Disparität eines Hauptobjektbildes auf ”0” eingestellt werden, durch die Mehransichtsbilderzeugungsvorrichtung 26 erzeugt werden, wird eine Disparitätsabbildung erzeugt und ausgegeben von Zwischenblickwinkelbildern benachbarter Blickwinkel (nachstehend als benachbarte Blickwinkelbilder bezeichnet), nämlich n-ten (n + 1)-ten Blickwinkelbildern.
  • Die Disparitätsabbildung ist eine Abbildung zum Darstellen einer Disparität zwischen rechten und linken Blickwinkelbildern oder zwischen entsprechenden Bildpunkten benachbarter Blickwinkelbilder, bezogen auf jeweilige Bildpunkte innerhalb von Blickwinkelbildern. Die Disparität bezeichnet einen Betrag eines Offsets (Anzahl von Bildpunkten) in der horizontalen Richtung und eine Richtung des Offsets. Die Disparität ist Information entsprechend einer Distanz eines Objekts entsprechend Bildpunkten in Tiefenrichtungen (beide Richtungen zu nahen und fernen Seiten) in einem dreidimensionalen Raum, nämlich Information entsprechend einer Objektdistanz. Die von der Disparität bezeichnete Distanzinformation bezieht sich auf einen Schnittpunkt (Konvergenzpunkt) einer optischen Achse eines rechten und linken optischen Fotografiersystems in einer Situation einer Aufnahme eines Paars von Blickwinkelbildern mit rechten und linken optischen Fotografiersystemen. Die Disparitätsabbildung, die die Disparität für jeden der Bildpunkte des Blickwinkelbildes bezeichnet, stellt die Verteilung der Objektdistanz dar.
  • Die Mehransichtsbilderzeugungsvorrichtung 26 stellt eine Vielzahl von virtuellen Blickwinkeln zwischen rechten und linken Blickwinkeln zum Aufnehmen rechter und linker Blickwinkelbilder ein, und erzeugt Blickwinkelbilder entsprechend denjenigen, die von den Blickwinkeln entsprechend den rechten und linken Blickwinkelbildern aufgenommen werden, und der erzeugten Disparitätsabbildung. In der Ausführungsform erzeugt die Mehransichtsbilderzeugungsvorrichtung 26 erste bis zwölfte Blickwinkelbilder. Insbesondere verwendet die Mehransichtsbilderzeugungsvorrichtung 26 das linke Blickwinkelbild für das erste Blickwinkelbild, und das rechte Blickwinkelbild für das zwölfte Blickwinkelbild. Virtuelle Blickwinkel werden auch in zehn Positionen eingestellt, die ein Intervall zwischen rechten und linken Blickwinkeln gleichmäßig durch elf teilen, sodass zweite bis elfte Blickwinkelbilder seriell von einer Seite des ersten Blickwinkelbildes gebildet werden.
  • Die Mehransichtsbilderzeugungsvorrichtung 26 verschiebt die ersten bis zwölften Blickwinkelbilder in der horizontalen Richtung, für eine Anfangskorrektur, um eine Disparität eines Hauptobjektbildes auf ”0” zwischen benachbarten Blickwinkelbildern einzustellen. Ein Bereich des Hauptobjektbildes innerhalb jedes der Blickwinkelbilder wird durch die Spezifizierungsvorrichtung 27 spezifiziert. Die ersten bis zwölften Blickwinkelbilder werden nach der Anfangskorrektur an die Wandlungseinheit 28 durch den Unschärfeprozessor 29 gesendet. Man beachte, dass ein Teil einer Einstellung ”0” für eine Disparität bestimmt werden kann wie gewünscht ohne eine Beschränkung auf das Hauptobjektbild. Eine Disparität eines durch einen Benutzer spezifizierten Bildabschnitts kann auf ”0” eingestellt werden.
  • Die Spezifizierungsvorrichtung 27 spezifiziert einen Bereich eines Hauptobjektbildes als einen Hauptobjektabschnitt innerhalb eines Blickpunktbildes. Die Spezifizierungsvorrichtung 27 spezifiziert zum Beispiel einen Bereich des Hauptobjektbildes innerhalb des sechsten Blickwinkelbildes. Weiterhin wählt die Spezifizierungsvorrichtung 27 einen Bildpunkt (nachstehend als ein besonderer Bildpunkt bezeichnet) aus dem Bereich des Hauptobjektbildes aus. Zum Zweck einer Spezifizierung des Bereichs eines Hauptobjektbildes nimmt die Spezifizierungsvorrichtung 27 Bezug auf eine Disparitätsabbildung oder Blickwinkelbild, und spezifiziert den Bereich des Hauptobjektbildes entsprechend einer Verteilung der Disparität (Objektdistanz), Helligkeit oder Farbe in dem Blickwinkelbild, einer Größe des Bereichs und dergleichen. Der besondere Bildpunkt kann zum Beispiel ein Bildpunkt in dem Mittelpunkt des Bereichs des Hauptobjektbilds, einer der Bildpunkte mit der größten Anzahl der Bildpunkte mit einer gleichen Objektdistanz innerhalb des Bereichs des Hauptobjektbildes überein.
  • Standortinformation des besonderen Bildpunkts wird von der Spezifizierungsvorrichtung 27 an die Mehransichtsbilderzeugungsvorrichtung 26 gesendet. Zur Zeit einer Anfangskorrektur spezifiziert die Mehransichtsbilderzeugungsvorrichtung 26 Bildpunkte (nachstehend als entsprechende Bildpunkte bezeichnet) innerhalb der ersten bis fünften und siebten bis zwölften Blickwinkelbilder entsprechend dem besonderen Bildpunkt des sechsten Blickwinkelbildes. Die Mehransichtsbilderzeugungsvorrichtung 26 verschiebt die Blickwinkelbilder ausgenommen das sechste Blickwinkelbild in einer horizontalen Richtung (Disparitätsrichtung) insgesamt, um Positionen der entsprechenden Bildpunkte einzustellen, mit der Position des besonderen Bildpunkts in der horizontalen Richtung übereinzustimmen.
  • Man beachte, dass eine Disparität des gesamten Bereichs des Objektbildes nicht auf ”0” eingestellt werden kann, obwohl eine Disparität eines Abschnitts eines stereoskopischen Objektbildes auf ”0” eingestellt werden kann. Es wird jedoch ein Ausdruck, dass eine Disparität eines Objektbildes ”0” ist, aus Bequemlichkeit verwendet, sogar unter einer Bedingung, dass eine Disparität eines Abschnitts eines Objektbildes ”0” ist, zum Beispiel ein als Zielpunkt spezifizierter Bildpunkt, der später beschrieben wird, oder ein Abschnitt entsprechend dem besonderen Bildpunkt.
  • Die Wandlungseinheit 28 wandelt die ersten bis zwölften Blickwinkelbilder, um eine Darstellungsposition eines Objektbildes in einem Stereobild (nachstehend als Stereoansichtsbild) in einer Hinten-nach-Vorne-Richtung entsprechend einer Bewegung einer Ansichtsposition relativ zu dem Linsenrasterblatt 11 in der horizontalen Richtung zu ändern. Die Wandlungseinheit 28 enthält eine Bestimmungsvorrichtung 31, eine Arithmetikvorrichtung 32, eine Verschiebevorrichtung 33 und ein Zeigegerät 34.
  • Die Bestimmungsvorrichtung 31 bestimmt eine Änderungsbedingung (Änderungszustand) einer Darstellungsposition eines Stereoansichtsbildes. Ein ”Hauptzielpunkt” (erster Zielpunkt) und wenigstens zwei ”Nebenzielpunkte” (zweite Zielpunkte) werden spezifiziert, um die Änderungsbedingung der Darstellungsposition zu bestimmen. Für den ”Hauptzielpunkt” werden besondere Bildpunkte in einem Bereich eines von der Spezifizierungsvorrichtung 27 spezifizierten Hauptobjektbildes spezifiziert. Somit fungiert die Spezifizierungsvorrichtung 27 als ein Mittel zum Spezifizieren des ersten Zielpunkts. Die ”Nebenzielpunkte” werden weiterhin spezifiziert durch einen Betrieb des Benutzers des Zeigegeräts 34.
  • Unter der Annahme, dass der ”Hauptzielpunkt” und zwei ”Nebenzielpunkte” in der Bestimmungsvorrichtung 31 spezifiziert werden, wird eine Änderungsbedingung so eingestellt, dass ein Darstellungspunkt des Stereoansichtsbildes entsprechend dem ”Hauptzielpunkt” auf dem Linsenrasterblatt 11 ist, während das Linsenrasterblatt 11 betrachtet wird durch eine Vorderseitenansicht aus ungefähr einer zentralen Betrachtungsposition, und dass ein Stereoansichtsbild entsprechend dem ”Nebenzielpunkt” auf dem Linsenrasterblatt 11 ist, während das Linsenrasterblatt 11 betrachtet wird aus ungefähr einer Betrachtungsposition eines rechten oder linken Endes. In der Änderungsbedingung wird die Darstellungsposition des Stereoansichtsbildes schrittweise geändert, während sich die Ansichtsposition zwischen dem Mittelpunkt und dem linken Ende und zwischen dem Mittelpunkt und dem rechten Ende bewegt.
  • Man beachte, dass der ”Hauptzielpunkt” und ein ”Nebenzielpunkt” spezifiziert werden, eine Darstellungsposition eines Stereoansichtsbildes entsprechend dem ”Hauptzielpunkt” auf dem Linsenrasterblatt 11 von der Ansichtsposition einer Vorderseitenbetrachtung zur der Ansichtsposition zum Beispiel des linken Endes ist. Bei einer Betrachtung von der Ansichtsposition des rechten Endes ist ein Stereoansichtsbild entsprechend dem ”Nebenzielpunkt” auf dem Linsenrasterblatt 11. In dieser Änderungsbedingung wird die Darstellungsposition des Stereoansichtsbildes veranlasst, sich schrittweise zu ändern, während sich die Ansichtsposition zwischen dem Mittelpunkt und dem rechten Ende bewegt.
  • Man beachte, dass sich die Änderungsbedingung gemäß der Objektdistanz entsprechend den Objektbildern ändert, die als ”Hauptzielpunkt” und ”Nebenzielpunkt” spezifiziert werden.
  • Die Arithmetikvorrichtung 32 berechnet einen Verschiebungsbetrag (Anzahl von Bildpunkten und Richtung), um die ersten bis zwölften Blickwinkelbilder in der horizontalen Richtung der von der Bestimmungsvorrichtung 31 bestimmten Änderungsbedingung zu verschieben. In der Berechnung werden relative Verschiebungsbeträge zwischen benachbarten Blickwinkelbildern erhalten, bevor absolute Verschiebungsbeträge berechnet werden durch Aufaddieren der relativen Verschiebungsbeträge von einem Blickwinkelbild als Referenz (”0” für einen Schiftbetrag) zu einem Blickwinkelbild als Ziel einer Verschiebung. Die Verschiebungsvorrichtung 33 insgesamt verschiebt die ersten bis zwölften Blickwinkelbilder entsprechend den von der Arithmetikvorrichtung 32 berechneten Verschiebungsbeträgen.
  • Das Zeigegerät 34 wird durch einen Monitor, Tastatur, Maus und dergleichen gebildet. Der Monitor zeigt ein Blickpunktbild, zum Beispiel das sechste Blickpunktbild an. Höchstens zwei ”Nebenzielpunkte” werden spezifiziert von der Seite des auf dem Monitor angezeigten sechsten Blickpunktbildes durch Betreiben der Tastatur, der Maus und dergleichen in dem Zeigegerät 34. Ein Benutzer kann auch einen ”Hauptzielpunkt” spezifizieren durch Verwenden des Zeigegeräts 34. Es ist möglich, eine Spezifizierung von drei oder mehr ”Nebenzielpunkten” zu erlauben.
  • Der Unschärfeprozessor 29 verarbeitet Bildpunkte innerhalb des Blickpunktbildes für die Unschärfeverarbeitung gemäß einem Betrag einer Disparität zwischen benachbarten Blickwinkelbildern vor einem Verschieben der ersten bis zwölften Blickwinkelbilder durch die Verschiebevorrichtung 33. Wie in dem Beispiel der 4 gezeigt, vergrößert der Unschärfeprozessor einen Unschärferadius entsprechend einem Anstieg der Disparität mit einem Bildpunkt in einem benachbarten Blickwinkelbild entsprechend einem Merkmalbildpunkt, um den Grad einer Unschärfe (Unschärfebetrag) zu erhöhen. Ein Beispiel der Unschärfe ist Unschärfe zwischen benachbarten Blickwinkelbildern nach einer Verschiebung mit der Verschiebevorrichtung 33. Man beachte, dass bekannte Verfahren für die Unschärfeverarbeitung verwendet werden können. Ein Mittelwert von Bildpunktwerten des Merkmalbildpunkts und ein Bildpunktwert jedes Bildpunkts in dem Unschärferadius um den Merkmalbildpunkt werden zum Beispiel berechnet, sodass der Mittelwert den Bildpunktwert des Merkmalbildpunkts ersetzt.
  • Wie oben beschrieben, ist eine für eine Bestimmung eines Unschärferadius verwendete Disparität eine Disparität zwischen Blickwinkelbildern benachbart zueinander nach einem Verschieben der Verschiebevorrichtung 33. Der Unschärfeprozessor 29 führt die Unschärfeverarbeitung jedoch durch vor dem Verschieben der Verschiebevorrichtung 33. Dies ist so, weil eine Disparität für die Unschärfeverarbeitung erfasst werden kann durch Verwenden von Disparitätsabbildungen, die für die ersten bis zwölften Blickwinkelbilder vor dem Verschieben gebildet werden. Die für die Bestimmung eines Unschärferadius verwendete Disparität kann erhalten werden aus einer Differenz zwischen einem relativen Verschiebebetrag von der Arithmetikvorrichtung 32 und der Disparität vor dem Verschieben entsprechend der Disparitätsabbildung. Man beachte, dass die Unschärfeverarbeitung durchgeführt werden kann nach dem Verschieben der Verschiebevorrichtung 33.
  • Ausgenommen die ersten und zwölften Blickwinkelbilder an beiden Enden gibt es zwei benachbarte Blickwinkelbilder in Bezug auf jedes der Blickwinkelbilder. Für den Zweck einer Unschärfeverarbeitung ist ein Beispiel eines benachbarten Blickwinkelbildes zur Verwendung ein Blickwinkelbild auf der Seite des sechsten Blickwinkelbildes. Ein Beispiel eines benachbarten Blickwinkelbildes für das sechste Blickwinkelbild ist ein siebtes Blickwinkelbild, kann jedoch ein fünftes Blickwinkelbild sein.
  • Aufgrund der oben beschriebenen Unschärfeverarbeitung überlappen Objektbilder in einem Unschärfezustand der Unschärfeverarbeitung mit einander, um natürlich als eine stereoskopische Ansicht betrachtet zu werden, anstelle von verschiedenen überlappenden Bildern, sogar während benachbarte Blickwinkelbilder mit Überlagerung gleichzeitig in einem Stereobild betrachtet werden. Sogar mit großer Disparität gibt es einen Effekt zum Loslösen einer Restriktion einer Disparität, aufgrund einer niedrigen Wahrscheinlichkeit einer Betrachtung mehrfacher überlappender Bilder. Es ist möglich, ein Stereobild mit hohem stereoskopischem Effekt zu betrachten durch Verwenden von Blickpunktbildern mit beachtlich großer Disparität.
  • Der Streifenprozessor 23 verarbeitet die ersten bis zwölften Blickwinkelbilder in einer Streifenverarbeitung zum Einteilen einer Breite der Unterbereich F1–F12. Das Druckgerät 24 wird gebildet aus einem Aufzeichnungskopf zum Aufzeichnen eines Bildes auf dem Linsenrasterblatt 11 mit Tinte oder dergleichen. Das Druckgerät 24 zeichnet Streifenbilder auf dem Linsenrasterblatt 11 auf durch einen Streifen nach dem Einteilen in dem Streifenprozessor 23. Die Streifenbilder werden auf angeordnete Weise aufgezeichnet zum Beispiel durch Transportieren des Linsenrasterblattes 11 und Ändern einer Aufzeichnungsposition zu jeder Zeit einer Aufzeichnung eines Streifenbildes.
  • Der Betrieb der obigen Konstruktion wird als Nächstes beschrieben. Um ein Bild mit mehreren Blickwinkeln auf dem Linsenrasterblatt 11 aufzuzeichnen, wird zunächst ein Stereobild in dem Drucker 10 eingegeben. Das Stereobild führt von dem Eingangsgerät 21 an die Disparitätsabbildungs-Bildungsvorrichtung 25 und an die Mehransichtsbilderzeugungsvorrichtung 26 gesendet. Die Disparitätsabbildungs-Bildungsvorrichtung 25 bildet eine Disparitätsabbildung zwischen rechten und linken Blickpunktbildern, die das Stereobild bilden.
  • Danach verwendet die Mehransichtsbilderzeugungseinheit 26 das linke Blickwinkelbild für das erste Blickwinkelbild und das rechte Blickwinkelbild für das zwölfte Blickwinkelbild. Entsprechend der Blickwinkelinformation, die zusammen mit dem Stereobild eingegeben wird, werden virtuelle Blickwinkel bestimmt in zehn Positionen, die ein Intervall zwischen dem rechten und linken Blickwinkel gleichmäßig durch elf teilen. Somit werden zweite bis elfte Blickwinkelbilder äquivalent zu aus diesen Blickwinkeln aufgenommenen Blickwinkelbildern gebildet aus den rechten und linken Blickwinkelbildern und der Disparitätsabbildung.
  • Ein Bereich eines Hauptobjektbildes innerhalb des sechsten Blickwinkelbildes wird auch durch die Spezifizierungsvorrichtung 27 spezifiziert entsprechend der Verteilung mit der Objektdistanz basierend auf der Disparitätsabbildung, und Helligkeit, Farbe, Größe und dergleichen der Blickwinkelbilder. Dann wird ein besonderer Bildpunkt (Pixel) innerhalb des spezifizierten Bereichs spezifiziert. Standortinformation des besonderen Bildpunkts wird an die Mehransichtsbilderzeugungsvorrichtung 26 gesendet.
  • Beim Empfangen von Standortinformation des besonderen Bildpunkts spezifiziert die Mehransichtsbilderzeugungsvorrichtung 26 einen entsprechenden Bildpunkt entsprechend dem besonderen Bildpunkt innerhalb des sechsten Blickwinkelbildes der Standortinformation von jedem der ersten bis fünften und siebten zwölften Blickwinkelbilder. Dann erhält die Mehransichtsbilderzeugungsvorrichtung 26 eine Disparität zwischen dem besonderen Bildpunkt und dem entsprechenden Bildpunkt jeweils in Bezug auf die ersten bis fünften und siebten bis zwölften Blickwinkelbilder, um Verschiebungsbeträge (Anzahl von Bildpunkten und Verschiebungsvorrichtung) zu erhalten, und die Disparität auf ”0” einzustellen. Die ersten bis fünften und siebten bis zwölften Blickwinkelbilder werden entsprechend den erhaltenen Verschiebungsbeträgen verschoben. Somit werden die ersten bis zwölften Blickwinkelbilder anfänglich korrigiert auf Bilder, in denen keine Disparität zwischen denjenigen in dem Hauptobjektbild verbleibt.
  • Ein Beispiel wird nachstehend beschrieben für einen Zustand nach Bilden der ersten bis zwölften Blickwinkelbilder M1–M12, wie in 5 gezeigt. Für die ersten bis zwölften Blickwinkelbilder M1–M12 wird ein Objektbild S1i (i ist 1–12) innerhalb der Blickwinkelbilder als ein Bereich eines Hauptobjektbildes spezifiziert. Zwischen den ersten bis zwölften Blickwinkelbildern M1–M12 ist eine Disparität ”0”, da es keinen Offset der Positionen zwischen den Objektbildern S1i-S112 in der horizontalen Richtung gibt, wie durch eine Linie P0 angezeigt.
  • Das Objektbild S21 ist ein Bild eines Objekts, das näher an dem Hauptobjekt entsprechend dem Objektbild S1i angeordnet ist. Das Objektbild S31 ist ein Bild eines Objekts, das weiter entfernt als das Hauptobjekt angeordnet ist. Man beachte, dass Stereoansichtsbilder einer Stereoskopie mit Objektbildern S1i, S2i und S31 beschrieben werden durch Bezugszeichen S1, S2 und S3. Zur Vereinfachung der Beschreibung werden die Objekte entsprechend den Objektbildern S1i–S3i beschrieben als solche, die keine Vorsprünge oder Vertiefungen in der Tiefenrichtung aufweisen.
  • Falls die anfängliche Korrektur beendet ist, wird die Disparitätsabbildung der ersten bis zwölften Blickwinkelbilder M1–M12 gebildet durch die Disparitätsabbildungs-Bildungsvorrichtung 25. Zunächst wird eine Disparität zwischen entsprechenden Bildpunkten der ersten und zweiten Blickwinkelbilder M1 und M2 erfasst, um eine erste Disparitätsabbildung zu erzeugen. Dann wird eine Disparität zwischen entsprechenden Bildpunkten der ersten und zweiten Blickwinkelbilder M1 und M3 erfasst, um eine zweite Disparitätsabbildung zu erzeugen. Ähnlich werden dritte bis elfte Disparitätsabbildungen zwischen dritten und elften Blickwinkelbildern M3–M12 erzeugt. Dann werden die Disparitätsabbildungen an die Wandlungseinheit 28 gesendet.
  • Nach Erzeugen der ersten bis elften Disparitätsabbildungen zeigt ein Monitor des Zeigegeräts 34 das sechste Blickwinkelbild M6 an. Ein Benutzer betreibt eine Tastatur oder eine Maus in dem Zeigegerät 34 und zeigt auch das Innere des sechsten Blickwinkelbilds M6 auf dem Monitor, um höchstens zwei ”Nebenzielpunkte” zu bestimmen.
  • Danach stellt die Bestimmungsvorrichtung 31 die Darstellungsposition des Stereoansichtsbildes auf dem Linsenrasterblatt 11 ein in Übereinstimmung mit einem Hauptobjektbild des ”Hauptzielpunkts” während einer Vorderseitenansicht des Linsenrasterblatts 11. Im Falle einer Spezifizierung der ”Nebenzielpunkte” wird die Darstellungsposition des Stereoansichtsbildes entsprechend dem Objektbild der spezifizierten ”Nebenzielpunkte” eingestellt auf dem Linsenrasterblatt 11 beim Betrachten aus einer Betrachtungsposition an einem rechten oder linken Ende.
  • In dem Beispiel der 6 wird eine Änderungsbedingung (Änderungszustand) einer Darstellungsposition eines Stereoansichtsbildes bestimmt in einem Zustand zum Beispiel einer Spezifizierung eines Bildpunkts in einem Objekt S36 als erster ”Nebenzielpunkt” und Spezifizieren eines Bildpunkts in einem Objektbild S26 als ein zweiter ”Nebenzielpunkt”. In 6 werden Ansichtspositionen auf einer horizontalen Achse bezeichnet mit Nummern von Paaren von Blickwinkelbildern, die auf den Ansichtspositionen betrachtet werden. Eine Ansichtsposition 5–6 ist zum Beispiel eine Position, wo die fünften und sechsten Blickwinkelbilder betrachtet werden. Eine vertikale Achse wird definiert für eine Objektdistanz eines Stereoansichtsbildes, obwohl das Stereobild auf dem Linsenrasterblatt 11 lokalisiert ist.
  • In dem Beispiel der 6 ist eine Darstellungsposition des Stereoansichtsbildes S1, das ein ”Hauptzielpunkt” ist, von der Ansichtsposition 6–7 entsprechend einer Vorderseitenansicht auf dem Linsenrasterblatt 11. Eine Darstellungsposition des Stereoansichtsbildes mit einer Objektdistanz gleich derjenigen des Stereoansichtsbildes S1 ist auf dem Linsenrasterblatt 11. Aus der Ansichtsposition 1–2 des linken Endes werden Darstellungspositionen des Stereoansichtsbildes S3 des ”Nebenzielpunkts” und des Stereoansichtsbildes mit einer Objektdistanz gleich derjenigen des Stereoansichtsbildes S3 auf dem Linsenrasterblatt 11. Aus der Ansichtsposition des rechten Endes werden ähnlich Darstellungspositionen des Stereoansichtsbildes S2 des ”Nebenzielpunkts” und des Stereoansichtsbildes mit einer Objektdistanz gleich derjenigen des Stereoansichtsbildes S2 auf dem Linsenrasterblatt 11.
  • Zusätzlich zu der Ansichtsposition 6–7 werden Ansichtspositionen 5–6 und 7–8 eingestellt für Ansichtspositionen einer Vorderseitenansicht. Fünfte bis siebte Blickwinkelbilder M5–M7 werden nämlich der Vorderseitenansicht zugeordnet. Eine Disparität eines Objektbildes S1i entsprechend den fünften bis siebten Blickwinkelbildern M5–M7 wird auf ”0” eingestellt. Wenn die Disparität von Objektbildern S15–S17 des ”Hauptzielpunkts” ”0” eingestellt z wird wischen den fünften bis siebten Blickwinkelbildern M5–M7 der drei oder mehr nachfolgenden Blickwinkel, wird das Stereoansichtsbild S1 klarer sichtbar mit kleiner unschärfer sogar bei einer kleinen Bewegung der Ansichtsposition. Aus ähnlichen Gründen werden erste bis dritte Blickwinkelbilder M1–M3 zu einer Ansicht auf einer Seite des linkten Endes. Zehnte bis Zwölfte Blickwinkelbilder M10–M12 werden einer Ansicht auf einer Seite des rechten Endes zugeordnet.
  • Eine Darstellungsposition wird eingestellt, um sich gleichmäßig zwischen den Ansichtspositionen 2–3 und 5–6 zu ändern. Aus diesem Grund wird ein Stereoansichtsbild veranlasst, auf dem Linsenrasterblatt 11 zwischen Objektdistanzen zu erscheinen, die ein Intervall zwischen einer Objektdistanz eines ”Hauptzielpunkts” und einer Objektdistanz eines ”Nebenzielpunkts” einer weiter entfernten Seite gleich durch drei teilen bei einer Betrachtung von den Ansichtspunkten 3–4 und 4–5. Ähnlich wird ein Stereoansichtsbild veranlasst, auf dem Linsenrasterblatt 11 zu erscheinen an jeder von Objektdistanzen, die eine Objektdistanz des ”Hauptzielpunkts” und eine Objektdistanz eines ”Nebenzielpunkts” einer näheren Seite gleich teilen durch drei beim Betrachten aus den Ansichtspunkten 9–10 und 10–11.
  • Beim Bestimmen der Änderungsbedingung der Darstellungsposition des Stereoansichtsbildes wie oben beschrieben, berechnet die Arithmetikvorrichtung 32 relative Verschiebungsbeträge, die benötigt werden für die oben beschriebene Änderungsbedingung, für jede der Blickwinkelbilder M1–M12 durch Bezugnahme auf die ersten bis elften Disparitätsabbildungen. Danach berechnet die Arithmetikvorrichtung 32 absolute Verschiebungsbeträge für die ersten bis fünften und siebten bis zwölften Blickwinkelbilder M1–M5 und M7–M12 mit Bezug auf das sechste Blickwinkelbild M6 entsprechend der relativen Verschiebungsbeträge.
  • Eine Disparität des Objektbildes S1i des ”Hauptzielpunkts” zwischen den sechsten Blickwinkelbildern M6 und den fünften, siebten und achten Blickwinkelbildern M5, M7 und M8 ist ”0”. Die Disparität wurde auf ”0” durch die Anfangskorrektur eingestellt. Wie in 7 dargestellt, sind relative Verschiebungsbeträge D5 und D7 ”0”, um die fünften und siebten Blickwinkelbilder M5 und M7 relativ zu dem sechsten Blickwinkelbild M6 zu verschieben. Ein relativer Verschiebungsbetrag D8 ist ”0”, um die achten Blickwinkelbilder M8 relativ zu den siebten Blickwinkelbilder M7 zu verschieben. Deshalb sind absolute Verschiebungsbeträge ”0”, um die fünften, siebten und achten Blickwinkelbilder M5, M7 und M8 zu verschieben.
  • Die ersten und zweiten Blickwinkelbilder M1 und M2 stellen die Disparität des Objektbildes S3i als ”Nebenzielpunkt” auf ”0” ein. Ein Verschiebebetrag, der eine Disparität des Objektbildes S3i eliminiert, das in der ersten Disparitätsabbildung bezeichnet ist, wird ein relativer Verschiebebetrag D1 des ersten Blickwinkelbildes M1 relativ zu dem zweiten Blickwinkelbild M2. Ähnlich stellen die zweiten und dritten Blickwinkelbilder M2 und M3 die Disparität des Objektbildes S3i auf ”0” ein. Ein Verschiebebetrag, der die Disparität des Objektbildes S3i eliminiert, das in der zweiten Disparitätsabbildung bezeichnet ist, wird ein relativer Verschiebebetrag D2 des zweiten Blickwinkelbildes M2 relativ zu dem dritten Blickwinkelbild M3. In dem vorliegenden Beispiel werden virtuelle Blickwinkel eingestellt durch gleichmäßiges Einteilen eines Intervalls zwischen rechten und linken Blickwinkeln, wie oben beschrieben. Somit ist der Verschiebebetrag D1, der die Disparität des ”Nebenzielpunkts” zwischen den ersten und zweiten Blickwinkelbildern M1 und M2 eliminiert, gleich dem Verschiebebetrag D2, der die Disparität des ”Nebenzielpunkts” zwischen den zweiten und dritten Blickwinkelbildern M2 und M3 eliminiert.
  • Der Verschiebebetrag D3 ist ein Betrag zum Verschieben des dritten Blickwinkelbildes M3 relativ zu dem vierten Blickwinkelbild M4. Der Verschiebebetrag D4 ist ein Betrag zum Verschieben des vierten Blickwinkelbildes M4 relativ zu dem fünften Blickwinkelbild M5. Die Verschiebebeträge D3 und D4 werden gleich bestimmt, um ein Intervall zwischen dem Verschiebebetrag ”0” zum Beibehalten von ”0” für die Disparität des ”Hauptzielpunkts” und einem relativen Verschiebebetrag zum Beibehalten von ”0” für die Disparität des ”Nebenzielpunkts” eingeteilt, um eine Änderung in der Disparität von dem ”Hauptzielpunkt” (Objektbild S1i) zu dem ”Nebenzielpunkt” (Objektbild S3i) zu glätten.
  • Insbesondere ist der relative Verschiebebetrag, der benötigt wird für eine Einstellung einer Disparität des Objektbildes S3i zwischen den dritten und vierten Blickwinkelbildern M3 und M4 auf ”0”, gleich dem Verschiebetrag D1 (= D2), weil die virtuellen Blickwinkel bestimmt werden durch gleiches Einteilen des Intervalls zwischen den rechten und linken Blickwinkeln, wie oben beschrieben. Dementsprechend wird ein relativer Verschiebebetrag D4 des vierten Blickwinkelbildes M4 relativ zu dem fünften Blickwinkelbild M5 eingestellt auf ”D1 × (1/3)”. Ein relativer Verschiebebetrag D3 des dritten Blickwinkelbildes M3 relativ zu dem vierten Blickwinkelbild M4 wird auf ”D1 × (2/3)” eingestellt.
  • Dann werden die relativen Verschiebebeträge D1–D5 der ersten bis fünften Blickwinkelbilder M1–M5, die oben erhalten werden, aufaddiert, um einen absoluten Verschiebebetrag des ersten Blickwinkelbildes M1 zu berechnen. Weiterhin werden die relativen Verschiebebeträge D2 bis D5 der zweiten bis fünften Blickwinkelbilder M2–M5 aufaddiert, um einen absoluten Verschiebebetrag des zweiten Blickwinkelbildes zu berechnen. Auf ähnliche Weise werden die Verschiebebeträge D3–D5 aufaddiert, um einen absoluten Verschiebebetrag des dritten Blickwinkelbildes M3 zu berechnen. Die Verschiebebeträge D4–D5 werden aufaddiert, um einen absoluten Verschiebebetrag des vierten Blickwinkelbildes M4 zu berechnen.
  • Weiterhin werden relative Verschiebebeträge D9–D12 der neunten bis zwölften Blickwinkelbilder M9–M12 durch die gleichen Schritte erhalten, um absolute Verschiebebeträge für die neunten bis zwölften Blickwinkelbilder M9–M12 aus den relativen Verschiebebeträgen D9–D12 zu berechnen.
  • Nach Berechnung des absoluten Verschiebebetrags mit Bezug auf die ersten bis zwölften Blickwinkelbilder M1–M12, verarbeitet der Unschärfeprozessor 29 das erste Blickwinkelbild M1 für die Unschärfeverarbeitung. Zunächst wird ein relativer Verschiebebetrag D1 des oben erhaltenen ersten Blickwinkelbildes M1 erfasst. Dann wird ein erster Bildpunkt des ersten Blickwinkelbildes M1 betrachtet. Ein Betrag einer Disparität eines Bildpunkts in dem zweiten Blickwinkelbild M2 entsprechend dem ersten Bildpunkt wird aus der ersten Disparitätsabbildung erfasst. Eine Differenz (Absolutwert) zwischen dem relativen Verschiebebetrag D1 und der aus der ersten Disparitätsabbildung erhaltenen Disparität wird erhalten als Disparität nach dem Verschieben des ersten Bildpunkts.
  • Die Disparität nach Verschieben des ersten Bildpunkts wird in einen Unschärferadius umgewandelt entsprechend dem Zusammenhang zwischen dem Unschärferadius und der Disparität, wie in 4 dargestellt. Die Unschärfeverarbeitung des ersten Bildpunkts wird durchgeführt durch Verwenden des Unschärferadius. Sei zum Beispiel die Disparität des ersten Bildpunkts drei Bildpunkte. Dann wird der Unschärferadius auf drei Bildpunkte eingestellt. Ein Mittelwert wird erhalten zwischen einem Bildpunktwert des ersten Bildpunkts und einem Bildpunktwert jedes der Bildpunkte um einen Zielbildpunkt innerhalb von drei Bildpunkten. Der Mittelwert wird als neuer Bildpunktwert des ersten Bildpunkts eingestellt.
  • Der erste Bildpunkt des wie oben beschriebenen ersten Blickwinkelbildes M1 wird durch die Unschärfeverarbeitung verarbeitet, bevor ein zweiter Bildpunkt in dem ersten Blickwinkelbild M1 ähnlich der Unschärfeverarbeitung verarbeitet wird. Ähnlich werden verbleibende Bildpunkte in dem ersten Blickwinkelbild M1 verarbeitet nacheinander in der Unschärfeverarbeitung. Natürlicherweise werden Werte von Bildpunkten vor der Unschärfeverarbeitung verwendet für Bildpunktwerte von Bildpunkten der Umgebung zum Erhalten eines Mittelwerts.
  • Nach Beenden der Unschärfeverarbeitung für den letzten Bildpunkt in dem Blickwinkelbild M1, wird die Unschärfeverarbeitung von Bildpunkten in dem zweiten Blickwinkelbild M2 ähnlich durchgeführt. In der Unschärfeverarbeitung für das zweite Blickwinkelbild M2 wird eine Differenz zwischen dem relativen Verschiebebetrag D2 des zweiten Blickwinkelbildes und einer aus der zweiten Disparitätsabbildung erhaltenen Disparität als Disparität nach der Verschiebung erhalten. Nach Beenden der Unschärfeverarbeitung für das zweite Blickwinkelbild M2 wird eine Unschärfeverarbeitung für das dritte Blickwinkelbild M3 und nachfolgende Blickwinkelbilder ähnlich durchgeführt.
  • Nach Beenden der Unschärfeverarbeitung des zwölften Blickwinkelbildes M12, werden die ersten bis zwölften Blickwinkelbilder M1–M12 nacheinander an die Verschiebevorrichtung 33 gesendet. Die ersten bis zwölften Blickwinkelbilder M1–M12 werden jeweils in der horizontalen Richtung durch den von der Arithmetikvorrichtung 32 vorher erhaltenen absoluten Verschiebebetrag jeweils verschoben.
  • Wie in 8 dargestellt, wird eine Disparität von Objektbildern S31 und S32 in den ersten und zweiten Blickwinkelbildern M1 und M2 ”0” durch die obige Verschiebung. Wie nicht gezeigt, wird eine Disparität eines Objektbildes S33 in Bezug auf die Objektbilder S31 und S32 in dem dritten Blickwinkelbild M3 ”0”. Ähnlich wird eine Disparität von Objektbildern S210–S212 in den zehnten bis zwölften Blickwinkelbildern M10–M12 (das zehnte Blickwinkelbild M10 wird nicht gezeigt) ”0”. Im Gegensatz dazu wird eine Disparität von Objektbildern S15–S18 in den ersten bis achten Blickwinkelbildern M5–M8 (die fünften und achten Blickwinkelbilder M5 und M8 werden nicht gezeigt), die nicht verschoben werden, wird bei ”0” beibehalten.
  • Die ersten bis zwölften Blickwinkelbilder M1–M12, die verschoben werden, werden von der Verschiebevorrichtung an den Streifenprozessor 23 gesendet, und jeweils in Streifenbilder einer Breite der jeweiligen Unterbereich F1–F12 eingeteilt. Die Streifenbilder werden nacheinander an das Druckgerät 24 gesendet und auf der Rückoberfläche 11a des Linsenrasterblattes 11 durch das Druckgerät 24 aufgezeichnet.
  • Zum Aufzeichnen der Streifenbilder wird zunächst ein erstes Streifenbild des ersten Blickwinkelbildes M1 in dem ersten Unterbereich F1 eines ersten der Bildbereiche 15 aufgezeichnet. Dann wird ein erstes Streifenbild des zweiten Blickwinkelbildes M2 in dem zweiten Unterbereich F2 des ersten Bildbereichs 15 aufgezeichnet. Ähnlich werden erste Streifenbilder der dritten bis zwölften Blickwinkelbilder M3–M12 in dem dritten bis zwölften Unterbereichen F3–F12 des ersten Bildbereichs 15 aufgezeichnet.
  • Nachdem die Aufzeichnung des ersten der Bildbereiche 15 beendet ist, wird eine Aufzeichnung eines zweiten der Bildbereiche 15 gestartet, wo zweite Streifenbilder der ersten bis zwölften Blickwinkelbilder M1–M12 aufgezeichnet werden in jeweiligen der ersten bis zwölften Unterbereiche F1–F12 in dem zweiten der Bildbereiche 15. Ähnlich werden Streifenbilder nacheinander bis zum letzten der Bildbereiche 15 aufgezeichnet. Das Linsenrasterblatt 11 nach dem Aufzeichnen wird aus dem Drucker ausgegeben und zur Ansicht bereitgestellt.
  • Falls das Linsenrasterblatt 11 nach einer Aufzeichnung der ersten bis zwölften Blickwinkelbilder M1–M12 wie oben beschrieben von der Ansichtsposition 6–7 betrachtet wird, nämlich zu der Zeit einer Vorderseitenbetrachtung, betrachtet ein linkes Auge des Betrachters Streifenbilder des sechsten Blickwinkelbildes M6 und ein rechtes Auge des Betrachters betrachtet Streifenbilder des siebten Blickwinkelbildes M7, mittels der Linsen 14 des Linsenrasterblatts 11.
  • In den sechsten und siebten Blickwinkelbildern M6 und M7 ist eine Disparität der Objektbilder S16 und S17 als ”Hauptzielpunkt” ”0”. Wie in 9 dargestellt, wird das Stereoansichtsbild S1 betrachtet auf dem Linsenrasterblatt 11 in der Hinten-nach-Vorne-Richtung mittels der Objektbilder S16 und S17. Auch wird das Stereoansichtsbild S2 betrachtet auf einer näheren Seite als das Linsenrasterblatt 11. Das Stereoansichtsbild S3 wird von einer weiteren Seite als das Linsenrasterblatt 11 betrachtet.
  • Es ist auch wahrscheinlich, Streifenbilder der fünften und sechsten Blickwinkelbilder M6 und M7 oder der siebten und achten Blickwinkelbilder M7 und M7 zu betrachten aufgrund eines Offsets der Ansichtsposition. Zur Zeit einer Vorderseitenansicht, werden weiterhin die Objektbilder S15 und S18 der fünften und achten Blickwinkelbilder M5 und M8 betrachtet zu der gleichen Zeit wie die Objektbilder S16 und S17 der sechsten und siebten Blickwinkelbilder M6 und M7 aufgrund einer Überlagerung. Es gibt jedoch keine Disparität zwischen den Objektbildern S15–S18 der fünften bis achten Blickwinkelbilder M5–M8. Somit wird das Stereoansichtsbild S1 klar gesehen, wie in 10 dargestellt.
  • Während das Stereoansichtsbild S2 durch Vorderseitenansicht betrachtet wird, werden Objektbilder S25 und S28 zur gleichen Zeit wie Objektbilder S26 und S27 entsprechend dem Stereoansichtsbild S2 betrachtet. Es gibt eine Disparität zwischen den Objektbildern S26 und S27, zwischen den Objektbildern S25 und S26 und zwischen den Objektbildern S27 und S28. Es gibt eine akkumulierte Disparität zwischen den Objektbildern 25 und S28. Unter der Annahme, dass die Disparität dieser Objektbilder groß ist, wird das Stereoansichtsbild S2 als mehrfach überlappende Bilder gesehen. Die Objektbilder S25–S28 mit der Disparität werden jedoch in der Unschärfeverarbeitung entsprechend der Disparität zwischen benachbarten Blickwinkelbildern verarbeitet. Somit werden die Objektbilder S25–S28 als ein einzelnes verzerrtes Stereoansichtsbild S2, wie in 10 dargestellt, betrachtet, ohne auf klare diskrete Weise betrachtet zu werden. Dies ist der Fall für das Stereoansichtsbild S3 als auch das Stereoansichtsbild S2. Der Grad der Unschärfe ist jedoch verschieden entsprechend dem Grad der Disparität. Als Ergebnis werden die Stereoansichtsbilder S2 und S3 auf einer näheren oder weiter entfernten Seite als das Stereoansichtsbild S1 gesehen, und können betrachtet werden als verzerrte Bilder anstatt diskreter mehrerer überlappender Bilder, ohne eine unkomfortable Erscheinung zu erzeugen.
  • In der Anzeigeposition 1–2 sieht das linke Auge Streifenbilder des ersten Blickwinkelbildes M1, und das rechte Auge sieht Streifenbilder des zweiten Blickwinkelbildes M2. Mit Bezug auf die ersten und zweiten Blickwinkelbilder M1 und M2 ist eine Disparität der Objektbilder S31 und S32 als ”Nebenzielpunkt” ”0”. Somit wird das Stereoansichtsbild S3 auf dem Linsenrasterblatt 11 gesehen, wie in 11 gezeigt. Das Stereoansichtsbild S1 wird auch auf einer näheren Seite des Linsenrasterblatts 11 gesehen aufgrund der Disparität der Objektbilder S11 und S12. Das Stereoansichtsbild S2 wird auf der näheren Seite des Linsenrasterblatts 11 gesehen aufgrund der Disparität der Objektbilder S21 und S22. Zu dieser Zeit wird das Stereoansichtsbild S1 gesehen zwischen dem Stereoansichtsbild S2 und dem Linsenrasterblatt 11.
  • In der Ansichtsposition 1–2 wird das dritte Blickwinkelbild M3 gleichzeitig mit dem zweiten Blickwinkelbild M2 durch Überlagerung betrachtet. Eine Disparität zwischen den Objektbildern S32 und S33 ist ”0”. Im Gegensatz dazu gibt es eine Disparität zwischen Objektbildern S11 und S12 und zwischen den Objektbildern S12 und S13. Das Stereoansichtsbild S1 wird betrachtet als mehrere überlappende Bilder entsprechend einer großen Disparität. Abschnitte der Objektbilder S11–S13 mit solch einer Disparität werden jedoch verarbeitet in einer Unschärfeverarbeitung entsprechend dem Grad einer Disparität mit ihren benachbarten Blickwinkelbildern. Dies ist die Situation für die Objektbilder S21–S23. Wie in 12 dargestellt, kann deshalb das Stereoansichtsbild S3 klar betrachtet werden, ohne Einfluss einer Überlagerung. Die Stereoansichtsbilder S1 und S2 werden jeweils als einzelne Unschärfebilder betrachtet. Mit Bezug auf diese ist der Grad der Unschärfe höher in dem Stereoansichtsbild S2 als in dem Stereoansichtsbild S1 aufgrund einer größeren Disparität und einem höheren Betrag einer Aussparung von dem Linsenrasterblatt 11. Somit kann ein Stereobild eines höheren stereoskopischen Effekts betrachtet werden.
  • Als die Ansichtsposition zu der Ansichtsposition 11–12 am rechten Ende bewegt wird, sieht das linke Auge das Streifenbild des elften Blickwinkelbildes M11 und das rechte Auge sieht die Streifenbilder des zwölften Blickwinkelbildes M12. Mit Bezug auf die elften und zwölften Blickwinkelbilder M11 und M12 ist eine Disparität der Objektbilder S211 und S212 als ”Nebenzielpunkt” ”0”. Somit wird das Stereoansichtsbild S2 auf dem Linsenrasterblatt 11 in der Hinten-nach-Vorne-Richtung betrachtet, wie in 13 gezeigt. Das Stereoansichtsbild S1 wird auf einer weiter entfernten Seite auf dem Linsenrasterblatt 11 betrachtet, aufgrund der Disparität der Objektbilder S111 und S112. Das Stereoansichtsbild S3 wird auf der weiter entfernten Seite des Linsenrasterblatts 11 betrachtet aufgrund der Disparität der Objektbilder S311 und S312. Zu dieser Zeit wird das Stereoansichtsbild zwischen dem Stereoansichtsbild S3 und dem Linsenrasterblatt 11 betrachtet.
  • Das zehnte Blickwinkelbild M10 kann zur gleichen Zeit wie das elfte Blickwinkelbild M11 aus der Ansichtsposition 11–12 aufgrund einer Überlagerung betrachtet werden. Eine Disparität zwischen den Objektbildern S210 und S211 ist jedoch ”0”. Im Gegensatz dazu gibt es eine Disparität zwischen den Objektbildern S110 und S111 und den Objektbildern S111 und S112. Es gibt auch eine Disparität zwischen den Objektbildern S310 und S311 und den Objektbildern S311 und S312. Die Stereoansichtsbilder S1 und S3 werden betrachtet als mehrere überlappende Bilder entsprechend dem Grad der Disparität. Abschnitte mit der Disparität werden jedoch durch die Unschärfeverarbeitung verarbeitet. Wie in 14 gezeigt, kann das Stereoansichtsbild S2 scharf ohne Einfluss einer Überlagerung betrachtet werden. Die Stereoansichtsbilder S1 und S3 werden betrachtet als jeweils ein einzelnes Bild ohne Unschärfe. Mit Bezug auf die Stereoansichtsbilder S1 und S3 weist das Stereoansichtsbild S3 die Unschärfe eines höheren Grades das Stereoansichtsbild S1 mit einem größeren Betrag einer Senke von dem Linsenrasterblatt 11 und eine größere Disparität auf. Es ist möglich, ein Stereobild mit besserem stereoskopischem Effekt sogar von der Ansichtsposition 11–12 zu betrachten.
  • Beim kontinuierlichen Bewegen der Ansichtsposition zwischen den Ansichtspositionen 6–7 und 1–2 und zwischen den Ansichtspositionen 6–7 und 11–12, ändert sich eine Disparität der Ansicht schrittweise von derjenigen entsprechend der Ansichtsposition 6–7 zu derjenigen entsprechend der Ansichtsposition 1–2. In Übereinstimmung der Änderung der Disparität werden Darstellungspositionen und ein Grad einer Unschärfe der Stereoansichtsbild S1–S2, die in den Stereobildern betrachtet werden, schrittweise geändert. Beim Bewegen der Ansichtsposition von der Ansichtsposition 6–7 in Richtung der Ansichtsposition 1–2, wird zum Beispiel eine Objektdistanz eines auf dem Linsenrasterblatt 11 wiedergegebenen Stereoansichtsbildes allmählich vergrößert. Somit wird eine Darstellungsposition des Stereoansichtsbildes S1 entsprechend dem Hauptobjektbild an die nähere Seite bewegt, sodass ein Reliefbetrag des Stereoansichtsbildes S1 vergrößert wird. Beim Bewegen der Ansichtsposition in eine entgegengesetzte Richtung, verringert sich eine auf dem Linsenrasterblatt 11 wiedergegebene Objektdistanz allmählich. Eine Darstellungsposition des Stereoansichtsbildes S1 wird auf die weiter entfernte Seite bewegt.
  • Wenn die Ansichtsposition bewegt wird, können die Stereoansichtsbilder S1–S8 klar betrachtet werden. Die Stereoansichtsbilder S1–S8 werden natürlich unschärfer gemacht, sogar mit einer größeren Disparität entsprechend den Ansichtspositionen. Keine unkomfortable Erscheinung wird einem Benutzer geboten.
  • 15 zeigt eine Ausführungsform, in der Objektbilder von Objekten, die weiter entfernt als ein Hauptobjekt entsprechend einem Hauptobjektbild angeordnet sind, als zwei ”Nebenzielpunkte” spezifiziert werden, und die Objektdistanzen der Objekte entsprechend den ”Nebenzielpunkten” sich voneinander unterscheiden. In der Ausführungsform der 15 wird eine Änderungsbedingung einer Darstellungsposition bestimmt durch Schritte ähnlich der Änderungsbedingung der 6. Objektbilder einer weiter entfernten Seite mit größeren Objektdistanzen als die zwei Hauptobjektbilder als die zwei ”Nebenzielpunkte”. Somit unterscheidet sich eine Änderungsbedingung von derjenigen der 6.
  • Gemäß der Änderungsbedingung der oben beschriebenen Darstellungsposition wird eine zu bestimmende Disparität zwischen benachbarten Blickwinkelbildern der ersten bis zwölften Blickwinkelbilder bestimmt. Wie in 16 dargestellt wird ein absoluter Verschiebungsbetrag jeder der ersten bis zwölften Blickwinkelbilder als Disparität durch die Arithmetikvorrichtung 32 berechnet. Die ersten bis zwölften Blickwinkelbilder werden insgesamt verschoben durch die Verschiebungsvorrichtung 33 entsprechend dem berechneten absoluten Verschiebungsbetrag. Somit wird ein Objektbild, das als erstes ”Nebenzielpunkt” spezifiziert wird, veranlasst, eine Disparität von ”0” aufzuweisen zwischen dem ersten bis dritten Blickwinkelbildern, die von den Ansichtspositionen 1–2 und 2–3 betrachtet werden. Ein Objektbild, das als ein ”Hauptzielpunkt” spezifiziert wird, wird veranlasst, eine Disparität von ”0” zwischen den fünften bis achten Blickwinkelbildern aufzuweisen, die von dem Ansichtspositionen 5–6, 6–7 und 7–8 betrachtet werden. Ein Objektbild, das als ein zweiter ”Nebenzielpunkt” spezifiziert wird, wird veranlasst, eine Disparität von ”0” aufzuweisen zwischen den zehnten und zwölften Blickwinkelbildern, die von den Ansichtspositionen 10–11 und 11–12 betrachtet werden. Man beachte, dass Verschiebungsbeträge der fünften bis achten Blickwinkelbilder ”0” in 16 sind. Verschiebungsrichtungen sind umgekehrt zueinander zwischen den ersten bis vierten Blickwinkelbildern mit positivem Werden der Verschiebungsbeträge und die neunten bis zwölften Blickwinkelbilder mit negativen Werten der Verschiebungsbeträge.
  • Während das Linsenrasterblatt 11 durch Vorderseitenbetrachtung betrachtet wird, wird ein Stereoansichtsbild entsprechend dem Hauptobjektbild auf dem Linsenrasterblatt 11 betrachtet. Unter der Annahme, dass die Ansichtsposition von der Vorderseitenbetrachtung entweder nach rechts oder nach links abgesetzt ist, bewegt sich eine Darstellungsposition des Stereoansichtsbildes entsprechend dem Hauptobjektbild näher, sodass das Stereoansichtsbild entsprechend einem Objektbild weiter entfernt als das Hauptobjektbild auf dem Linsenrasterblatt 11 betrachtet wird. Ein Stereoansichtsbild entsprechend einem als erstes ”Nebenzielpunkt” spezifizierten Objektbilds wird zum Beispiel auf dem Linsenrasterblatt 11 von den Ansichtspositionen 1–2 und 2–3 betrachtet. Ein Stereoansichtsbild entsprechend einem Objektbild, das als zweiter ”Nebenzielpunkt” spezifiziert wird, wird auf dem Linsenrasterblatt 11 von den Ansichtspositionen 10–11 und 11–12 betrachtet.
  • 17 zeigt eine Ausführungsform einer Änderungsbedingung einer Situation, in der ein ”Nebenzielpunkt” spezifiziert wird, und eine Objektdistanz entsprechend dem spezifizierten Objektbild größer ist als eine Objektdistanz entsprechend einem Hauptobjektbild, das einen ”Hauptzielpunkt” bildet. Ein Stereoansichtsbild entsprechend dem Hauptobjektbild zwischen den Ansichtspositionen 1–2 und 7–8 wird auf dem Linsenrasterblatt 11 betrachtet. Falls die Ansichtsposition nach rechts von der Ansichtsposition 7–8 bewegt wird, vergrößert sich allmählich eine Objektdistanz des Stereoansichtsbildes, das auf dem Linsenrasterblatt 11 wiedergegeben wird. Weiterhin wird eine Darstellungsposition des Stereoansichtsbildes entsprechend dem Objektbild, das als der ”Nebenzielpunkt” spezifiziert wird, das Linsenrasterblatt 11 in den Ansichtspositionen 10–11 und 11–12 nach weiterer Bewegung.
  • In dieser Ausführungsform werden Blickwinkelbilder mit Verschiebungsbeträgen eines in 18 dargestellten Beispiels verschoben, sodass eine Disparität eines Objektbildes des Hauptzielpunkts von ersten bis achten Blickwinkelbildern als ”0” eingestellt wird, und eine Disparität eines Objektbilds des ”Nebenzielpunkts” von zehnten bis zwölften Blickwinkelbildern als ”0” eingestellt wird.
  • Es ist auch möglich, eine Änderungsbedingung einer Darstellungsposition des Stereoansichtsbildes entsprechend einem Disparitätsbereich zwischen Blickwinkelbildern zu bestimmen. In einem Beispiel einer in 19 dargestellten Änderungsbedingung wird die Ansichtsposition zwischen den Ansichtspositionen 1–2 und 11–12 so geändert, dass eine Objektdistanz entsprechend einem auf dem Linsenrasterblatt 11 betrachteten Stereoansichtsbild geändert wird von einer minimalen Objektdistanz (Distanz zu einem nächsten Objekt) auf eine maximale Objektdistanz (Distanz zu einem am weitesten entfernten Objekt) auf eine annähernd kontinuierliche Weise, nämlich in dem Disparitätsbereich. Man beachte, dass diese Änderungsbedingung auch verwendet werden kann als Änderungsbedingung einer Darstellungsposition in einer Situation ohne Spezifizierung des ”Nebenzielpunkts”.
  • Die maximalen und minimalen Objektdistanzen entsprechen maximalen und minimalen Werten eines Disparitätsbereichs, der von der Disparitätsabbildung erfasst wird, und kann auf der Disparitätsabbildung gefunden werden. In der vorliegenden Ausführungsform werden die Blickwinkelbilder ausgenommen die sechsten und siebten Blickwinkelbilder mit in 20 dargestellten Verschiebungsbeträgen verschoben.
  • Es ist auch möglich, eine Änderungsbedingung einer Darstellungsposition eines Stereoansichtsbildes gemäß einer Verteilung einer Disparität zwischen Blickwinkelbildern zu bestimmen. In einer in 21 dargestellten Ausführungsform wird eine Änderungsbedingung einer Darstellungsposition eines Stereoansichtsbildes bestimmt entsprechend eines nahen oder fernen Zustands eines Objekts, das hauptsächlich in rechten und linken Bereichen in einem Blickwinkelbild angeordnet ist, nämlich gemäß einer Disparitätsverteilung in der horizontalen Richtung. In der Ausführungsform ist die Disparität, nämlich die Verteilung der nahen und fernen Zustände, assoziiert mit einer Ansichtsposition. Eine Änderungsbedingung wird so bestimmt, dass ein Stereoansichtsbild einer linken Seite innerhalb des Stereobildes betrachtet wird auf dem Linsenrasterblatt 11 von der linken Ansichtsposition, und dass ein Stereoansichtsbild einer rechten Seite innerhalb des Stereobildes betrachtet wird auf dem Linsenrasterblatt 11 aus der rechten Ansichtsposition. Die rechten und linken Bereiche sind mit Bezug auf den ”Hauptzielpunkt” innerhalb des Blickwinkelbildes.
  • Objekte, die hauptsächlich in den rechten und linken Bereichen angeordnet sind, werden spezifiziert von einem Bediener als ”Nebenzielpunkte” (Objekte). Zeigen der ”Hauptzielpunkte” und Spezifizieren des ”Nebenzielpunkts” sind die gleichen wie diejenigen der ersten Ausführungsform. In einer Ansichtsposition für eine Vorderseitenansicht wird eine Darstellungsposition eines Stereoansichtsbildes entsprechend einem Hauptobjektbild als ”Hauptzielpunkt” auf dem Linsenrasterblatt 11 eingestellt. Auf eine Weise wird ähnlich zu der ersten Ausführungsform die Änderungsbedingung bestimmt, um die Darstellungsposition des Stereoansichtsbildes schrittweise zwischen den Ansichtspositionen rechts, Mitte und links zu ändern.
  • Sei eine der ”Nebenzielpunkte” spezifiziert auf der linken Seite des ”Hauptzielpunkts”. Sei eine Objektdistanz entsprechend seines Objektsbilds größer als eine Objektdistanz eines Hauptobjektbildes des ”Hauptzielpunkts”. Eine Änderungsbedingung wird so zu einer Zeit der Ansichtspunkte 1–2 und 2–3 der linken Seite bestimmt, dass ein Stereoansichtsbild des linken ”Nebenzielpunkts” auf dem Linsenrasterblatt 11 betrachtet wird, und dass ein Stereoansichtsbild entsprechend einem näheren Objektbild (enthaltend das Hauptobjektbild) als der linke ”Nebenzielpunkt” auf einer näheren Seite als das Linsenrasterblatt 11 betrachtet wird. Eine Änderung des Verschiebungsbetrags der ersten bis vierten Ansichtsbilder in dieser Situation ist eine Verringerung in Richtung der rechten Seite auf einer Weise ähnlich zu der Abbildung in 7.
  • Andererseits unter der Annahme, dass eine Objektdistanz entsprechend einem Objektbild des ”Nebenzielpunkts”, der auf der linken Seite spezifiziert ist, kleiner als dasjenige des Hauptobjektbildes, dann wird eine Änderungsbedingung so zu der Zeit der Ansichtsposition 1–2 und 2–3 der linken Seite bestimmt, dass eine Darstellungsposition eines Stereoansichtsbildes des linken ”Nebenzielpunkts” auf dem Linsenrasterblatt 11 betrachtet wird, und dass ein Stereoansichtsbild entsprechend einem näheren Objektbild (inklusive des Hauptobjektbildes) als der linke ”Nebenzielpunkt” betrachtet wird weiter entfernt als das Linsenrasterblatt 11. Änderungen der Verschiebungsbeträge der ersten bis vierten Blickwinkelbilder vergrößert sich zu der rechten Seite umgekehrt zu der Abbildung wie in 7 dargestellt.
  • Andererseits unter der Annahme, dass einer der ”Nebenzielpunkte” auf einer rechten Seite von dem ”Hauptzielpunkt” spezifiziert wird, und unter der Annahme, dass eine Objektdistanz entsprechend des Objektbildes kleiner ist als diejenige des Hauptobjektbildes des ”Hauptzielpunkts”, dann wird eine Änderungsbedingung so bestimmt, dass ein Stereoansichtsbild des rechten ”Nebenzielpunkts” betrachtet wird auf dem Linsenrasterblatt 11 zu der Zeit der Ansichtspositionen 10–11 und 11–12 der rechten Seite und dass ein Stereoansichtsbild entsprechend einem näheren Objektbild (inklusive des Hauptobjektbilds) als der rechte ”Nebenzielpunkt” betrachtet wird weiter entfernt als der ”Hauptzielpunkt”. Änderungen der Verschiebungsbeträge der neunten bis zwölften Blickwinkelbilder vergrößern sich zu der rechten Seite ähnlich zu der Grafik, wie in 7 dargestellt.
  • Unter der Annahme, dass eine Objektdistanz entsprechend einem Objektbild einer der ”Nebenzielpunkte”, die auf der rechten Seite spezifiziert werden, größer ist als diejenigen des Hauptobjektbildes des ”Hauptzielpunkts”, dann wird eine Änderungsbedingung so bestimmt, dass ein Stereoansichtsbild des rechten ”Nebenzielpunkts” betrachtet wird auf dem Linsenrasterblatt 11 zu der Zeit der Ansichtspositionen 10–11 und 11–12 der rechten Seite, und dass ein Stereoansichtsbild entsprechend einem näheren Objektbild (inklusive des Hauptobjektbildes) als der rechte ”Nebenzielpunkt” betrachtet wird näher als das Linsenrasterblatt 11. Änderungen der Verschiebungsbeträge der neunten bis zwölften Bildpunkte verringern sich zu der rechten Seite umgekehrt zu der Grafik, wie in 7 dargestellt.
  • Wie bis hierhin beschrieben, wird eine Änderungsbedingung einer Darstellungsposition eines Stereoansichtsbildes in einem Stereobild bestimmt gemäß einer Verteilung einer Disparität in der horizontalen Richtung. Verschiebungsbeträge von Blickwinkelbildern werden erhalten zum Ausführen einer Verschiebung, vor einer Aufzeichnung auf dem Linsenrasterblatt 11. Falls das Linsenrasterblatt 11 von der linken Seite betrachtet wird, wird ein Stereoansichtsbild der linken Seite klar gesehen. Falls das Linsenrasterblatt 11 von der rechten Seite gesehen wird, wird ein Stereoansichtsbild der rechten Seite klar gesehen. Somit kann ein Betrachtungsbetrieb natürlich durchgeführt werden, da eine Seite näher zu einem Auge eines Betrachters klar gesehen werden kann.
  • In den obigen Ausführungsformen werden die rechten und linken Bereiche definiert mit Bezug auf ein als der ”Hauptzielpunkt” spezifiziertes Objektbild. Rechte und linke Bereiche können jedoch definiert werden mit Bezug auf einen Mittelpunkt oder dergleichen eines Blickwinkelbildes ohne Spezifizieren oder Zeigen eines ”Hauptzielpunkts”. Innerhalb eines Blickwinkelbildes wird der ”Nebenzielpunkt”, der auf einer rechten oder linken Seite von dem ”Hauptzielpunkt” spezifiziert wird, als ein Objektbild verwendet, das hauptsächlich in rechten und linken Bereichen angeordnet ist. Ein Objektbild kann jedoch automatisch eingestellt werden auf eine Weise ähnlich zu einer Spezifizierung eines Hauptobjektbildes, mittels eines Bereichs oder dergleichen eines Objektbilds zum Abziehen neben das Hauptobjektbild, entsprechend einer Verteilung einer Disparität, Helligkeit innerhalb eines Blickwinkelbildes, Farbe, Größe eines Bereichs oder dergleichen. Auch unter der Annahme, dass ein relativ nahes Objekt in einem linken Bereich von einem Blickwinkelbild lokalisiert ist, und unter der Annahme, dass ein relativ weit entferntes Objekt in einem rechten Bereich lokalisiert ist, ist es wie in 19 dargestellt möglich, eine Änderungsbedingung zu bestimmen zum Vergrößern einer Objektdistanz eines Stereoansichtsbildes, das auf dem Linsenstrukturblatt wiedergegeben wird, entsprechend einem Grad einer Disposition auf einer rechten Seite einer Ansichtsposition, oder eine Änderungsbedingung zur Bestimmung zum Reduzieren einer Objektdistanz eines auf dem Linsenrasterblatt 11 wiedergegebenen Stereoansichtsbildes gemäß dem Grad einer Disposition auf der rechten Seite einer Ansichtsposition unter der Bedingung umgekehrter Richtungen der nahen und fernen Seiten entsprechend rechts und links.
  • In den obigen Ausführungsformen wird eine Disparität eines Objektbildes, das hauptsächlich in jeder der drei Bereiche angeordnet ist, die einen Bereich mit dem ”Hauptzielpunkt” und Rechts- und Linksbereich neben diesem Bereich enthalten, als Verteilung der Disparität überprüft. Eine Änderungsbedingung wird bestimmt gemäß der überprüften Disparität. Es ist jedoch möglich, eine Disparität eines Objektbildes zu überprüfen, das hauptsächlich in jeder der drei Bereich angeordnet ist, die einen zentralen Bereich des Blickwinkelbildes und rechte und linke Bereiche neben dem zentralen Bereich enthalten, sodass eine Änderungsbedingung gemäß der überprüften Disparität bestimmt werden kann.
  • Anstelle einer Änderungsbedingung gemäß der Disparität der drei Bereich in der horizontalen Richtung für ein Blickwinkelbild, wie oben beschrieben, ist es möglich, eine Änderungsbedingung zu bestimmen gemäß einer Disparität vieler Bereiche, die definiert werden durch Teilen eines Blickwinkelbildes durch zwei oder vier oder mehr. Für diese Struktur können die Bereiche der Teilung mit Ansichtspositionen assoziiert sein.
  • Sei ein Blickwinkelbild in erste bis vierte Bereiche in Reihe von der linken Seite zu der rechten Seite geteilt. Wie in 22 dargestellt, sind die Ansichtspositionen 1–2 und 2–3 mit dem ersten Bereich assoziiert. Die Ansichtspositionen 4–5 und 5–6 sind mit dem zweiten Bereich assoziiert. Die Ansichtspositionen 7–8 und 8–9 sind mit dem dritten Bereich assoziiert. Die Ansichtspositionen 10–11 und 11–12 sind mit dem vierten Bereich assoziiert. Eine Änderungsbedingung einer Darstellungsposition in der Hinten-nach-Vorne-Richtung des Stereobildes wird so bestimmt, dass ein Objektbild, das hauptsächlich in jedem der Bereiche angeordnet ist, auf dem Linsenstrukturblatt 11 in jeder Ansichtsposition entsprechend dem Bereich betrachtet wird.
  • In den obigen Ausführungsformen wird das Stereobild wiedergegeben durch Aufzeichnen eines Bildes mit mehreren Blickwinkeln auf dem Linsenstrukturblatt. Es können jedoch bekannte Verfahren verwendet werden als Verfahren zum Wiedergeben eines Stereobildes durch Verwendung eines Bildes mit mehreren Blickwinkeln. Ein Paralaxenbarriereverfahren kann zum Beispiel verwendet werden zum Wiedergeben eines Stereobildes. Das Paralaxenbarriereverfahren ist eine Art eines Disparitätseinteilungsverfahrens ähnlich zu einem Verfahren eines Linsenstrukturblattes, es wird jedoch eine Paralaxenbarriere anstelle der Linsen verwendet, wie wohl bekannt ist. In dem Paralaxenbarriereverfahren, wie in 23 dargestellt, ist eine Paralaxenbarriere 41 einer Aufzeichnungsoberfläche 40 gegenüber gestellt, wo Streifenbilder vieler Blickwinkelbilder in Unterbereichen F1–F12 aufgezeichnet sind. Ein Schlitz 41a, der in der Paralaxenbarriere 41 ausgebildet ist, erlaubt ein Betrachten der Blickwinkelbilder gemäß Blickwinkeln (Ansichtspositionen).
  • Die vorliegende Erfindung kann als Bildverarbeitungsvorrichtung verwendet werden. Die vorliegende Erfindung kann auch als Anzeigevorrichtung verwendet werden, in der ein Bild mit mehreren Blickwinkeln auf einem LCD oder dergleichen angezeigt wird zum Betrachten durch ein Linsenstrukturblatt oder eine Paralaxenbarriere. Eine Anzeigevorrichtung 15, wie in 24 gezeigt, enthält ein Eingabegerät 21, die Bildverarbeitungsvorrichtung 22, den Streifenprozessor 23, eine Anzeigevorrichtung 51 und einen Treiber 52 zum Antreiben der Anzeigevorrichtung 51. Das Eingabegerät 21, die Bildverarbeitungsvorrichtung 22 und der
  • Streifenprozessor 23 sind die gleichen wie diejenigen in den obigen Ausführungsformen. Die Blickwinkelbilder, die von der Bildverarbeitungsvorrichtung 22 verschoben werden zum Ändern der Darstellungsposition, werden in Streifenbilder geändert durch den Streifenprozessor 23 und an den Treiber 52 gesendet.
  • Die Anzeigevorrichtung 51 enthält eine Flachbildschirmanzeige 51a, zum Beispiel ein LCD oder dergleichen, und ein Linsenstrukturblatt 51b, das auf der Ansichtsoberfläche der Flachbildschirmanzeige 51a angeordnet ist. Der Treiber 52 veranlasst ein Anzeigen von Eingangsstreifenbildern in Bereichen der Flachbildanzeige 51a entsprechend den Linsen in dem Linsenstrukturblatt 51b auf eine angeordnete Weise in einer vorbestimmten Abfolge. Somit wird ein Stereobild angezeigt mit Änderungen einer Darstellungsposition eines Stereoansichtsbildes gemäß einer Ansichtsposition. Man beachte, dass eine Paralaxenbarriere anstelle des Linsenstrukturblatts 51b verwendet werden kann. Die Anzeigevorrichtung 50 kann auch in einer Digitalanzeige (elektronische Werbetafel) verwendet werden.
  • In den obigen Ausführungsformen werden rechte und linke Blickwinkelbilder eingegeben, um zwölf Blickwinkelbilder in den obigen Ausführungsformen zu bilden. Es ist weiterhin möglich, zwölf Blickwinkelbilder einzugeben, die erhalten werden durch eine Bildaufnahme aus den jeweiligen zwölf Blickwinkeln, an den Drucker. Mehrere Blickwinkelbilder aus drei oder mehr Blickwinkeln können auch verwendet werden anstelle der oben beschriebenen Verwendung der zwölf Blickwinkelbilder.
  • Bezugszeichenliste
  • 10
    Drucker
    11
    Linsenstrukturblatt
    22
    Bildverarbeitungsvorrichtung
    23
    Streifenprozessor
    24
    Druckgerät
    28
    Wandlungseinheit
    29
    Unschärfeprozessor
    31
    Bestimmungsvorrichtung
    32
    Arithmetikvorrichtung
    33
    Verschiebungsvorrichtung
    50
    Anzeigevorrichtung
    51
    Anzeigegerät
    S1–S3
    Stereoansichtsbild
    M1–M12
    Blickwinkelbild

Claims (15)

  1. Bildverarbeitungsvorrichtung, gekennzeichnet durch: eine Bestimmungsvorrichtung zum Bestimmen einer Änderungsbedingung einer Änderung einer Darstellungsposition beim Bewegen einer Ansichtsposition einer Ansicht eines Bildes mit mehreren Blickwinkeln mit drei oder mehr Blickwinkeln in einer horizontalen Richtung, wobei die Darstellungsposition eine Position in einer Hinten-nach-Vorne-Richtung in einem Objektbild innerhalb eines Stereobildes ist, das mit dem Bild mit mehreren Blickwinkeln betrachtbar ist; eine Arithmetikvorrichtung zum Erfassen eines Verschiebungsbetrages zum Ändern der Darstellungsposition in eine Disparitätsrichtung gemäß der von der Bestimmungsvorrichtung bestimmten Änderungsbedingung für jedes der Blickwinkelbilder, die das Bild mit mehreren Blickwinkeln bildet; eine Verschiebungsvorrichtung zum Verschieben der Blickwinkelbilder in der Disparitätsrichtung jeweils mit dem von der Arithmetikvorrichtung erfassten Verschiebungsbetrag.
  2. Bildverarbeitungsvorrichtung nach Anspruch 1, weiterhin gekennzeichnet durch eine Spezifizierungsvorrichtung zum Spezifizieren eines Hauptobjektabschnitts innerhalb der Blickwinkelbilder; wobei die Bestimmungsvorrichtung die Änderungsbedingung der Darstellungsposition so ändert, dass ein Bild des Hauptobjektabschnitts auf einer Ansichtsoberfläche betrachtet wird, die das Bild mit mehreren Blickwinkeln von einer ersten Ansichtsposition einer Vorderseitenansicht der Ansichtsoberfläche anzeigt; die Arithmetikvorrichtung den Verschiebungsbetrag für die Blickwinkelbilder erfasst, um eine Disparität des Hauptobjektabschnitts zwischen den von der ersten Ansichtsposition betrachteten Blickwinkelbildern zu eliminieren.
  3. Bildverarbeitungsvorrichtung nach Anspruch 1, gekennzeichnet durch ein Zeigegerät zum Zeigen eines Zielpunkts in den Blickwinkelbildern; wobei die Bestimmungsvorrichtung die Änderungsbedingung der Darstellungsposition gemäß dem von dem Zeigegerät gezeigten Zielpunkt bestimmt.
  4. Bildverarbeitungsvorrichtung nach Anspruch 3, dadurch gekennzeichnet, dass der erste Zielpunkt erste und zweite Zielpunkte enthält; wobei die Bestimmungsvorrichtung die Änderungsbedingung der Darstellungsposition so bestimmt, dass ein Bild des ersten Zielpunkts auf einer Ansichtsoberfläche betrachtet wird, die das Bild mit mehreren Blickwinkeln von einer ersten Ansichtsposition einer Vorderseitenansicht der Ansichtsoberfläche anzeigt, und das ein Bild des zweiten Zielpunkts betrachtet wird auf der Ansichtsoberfläche von einer zweiten Ansichtsposition abgesetzt von einer Vorderseite entweder nach links oder rechts in der horizontalen Richtung; die Arithmetikvorrichtung den Verschiebungsbetrag für die Blickwinkelbilder erfasst, um eine Disparität des ersten Zielpunkts zwischen den von der ersten Ansichtsposition betrachteten Blickwinkelbildern zu eliminieren und eine Disparität des zweiten Zielpunkts zwischen dem von der zweiten Ansichtsposition betrachteten Blickwinkelbildern zu eliminieren.
  5. Bildverarbeitungsvorrichtung nach Anspruch 1, weiterhin gekennzeichnet durch eine Spezifizierungsvorrichtung zum Spezifizieren eines Hauptobjektabschnitts innerhalb der Blickwinkelbilder; wobei die Bestimmungsvorrichtung die Änderungsbedingung der Darstellungsposition gemäß einem von der Spezifizierungsvorrichtung spezifizierten Zielpunkt bestimmt.
  6. Bildverarbeitungsvorrichtung nach Anspruch 1, weiterhin gekennzeichnet durch: eine Spezifizierungsvorrichtung zum Spezifizieren eines Hauptobjektabschnitts innerhalb der Blickwinkelbilder, um eine erste Zielposition aus dem spezifizierten Hauptobjektabschnitt zu definieren; ein Zeigegerät zum Zeigen eines zweiten Zielpunkts in den Blickwinkelbildern; wobei die Bestimmungsvorrichtung die Änderungsbedingung der Darstellungsposition so bestimmt, dass ein Bild des ersten Zielpunkts betrachtet wird auf einer Ansichtsoberfläche, die das Bild mit mehreren Blickwinkeln von einer ersten Ansichtsposition einer Vorderseitenansicht und der Ansichtsoberfläche anzeigt, und dass ein Bild der zweiten Zielposition betrachtet wird auf der Ansichtsoberfläche von einer zweiten Ansichtsposition abgesetzt von einer Vorderseite entweder nach rechts oder nach links in der horizontalen Richtung; und die Arithmetikvorrichtung den Verschiebungsbetrag erfasst für die Blickwinkelbilder, um eine Disparität des ersten Zielpunkts zwischen den von der ersten Ansichtsposition betrachteten Blickwinkelbilder zu eliminieren und um eine Disparität des zweiten Zielpunkts zwischen den von der zweiten Ansichtsposition betrachteten Blickwinkelbilder zu eliminieren.
  7. Bildverarbeitungsvorrichtung nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass die Bestimmungsvorrichtung die Änderungsbedingung der Darstellungsposition auf eine Art zum Eliminieren einer Disparität des Zielpunkts zwischen Blickwinkelbildern von drei oder mehr aufeinanderfolgenden Blickwinkeln bestimmt.
  8. Bildverarbeitungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Bestimmungsvorrichtung die Änderungsbedingung der Darstellungsposition gemäß einem Disparitätsbereich zwischen den Blickwinkelbildern bestimmt.
  9. Bildverarbeitungsvorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass die Bestimmungsvorrichtung die Änderungsbedingung der Darstellungsposition auf solch eine Art bestimmt, dass ein auf einer Ansichtsoberfläche wiedergegebenes Bild verschoben wird von einem am weitesten entfernten Objektbild zu einem nächsten Objektbild auf eine annähernd kontinuierliche Weise durch Bewegen einer Ansichtsposition von einer der rechten und linken Endansichtspositionen zu einer verbleibenden der rechten und linken Endansichtspositionen.
  10. Bildverarbeitungsvorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Bestimmungsvorrichtung die Änderungsbedingung der Darstellungsposition gemäß einer Verteilung einer Disparität zwischen den Blickwinkelbildern in der horizontalen Richtung bestimmt.
  11. Bildverarbeitungsvorrichtung nach Anspruch 1 bis 6 und 8 bis 10, weiterhin gekennzeichnet durch einen Unschärfeprozessor zum Verzerren von Bildpunkten in den Blickwinkelbildern durch Verwenden eines Verzerrungsbetrags gemäß einer Disparität nach einer Verschiebung der Verschiebungsvorrichtung zwischen entsprechenden Bildpunkten benachbarter Blickwinkelbilder.
  12. Drucker, gekennzeichnet durch: eine Bildverarbeitungsvorrichtung nach Anspruch 1; einen Streifenprozessor zum Erzeugen von Streifenbildern aus den verschobenen Blickwinkelbildern; und ein Druckgerät zum Anordnen und Aufzeichnen der Streifenbilder in Bereichen entsprechend den Linsen eines Linsenstrukturblattes oder Schlitzen einer Paralaxenbarriere.
  13. Anzeigevorrichtung, gekennzeichnet durch: eine Bildverarbeitungsvorrichtung nach Anspruch 1; einen Streifenprozessor zum Erzeugen von Streifenbildern aus den verschobenen Blickwinkelbildern; und eine Anzeigevorrichtung mit einem Linsenstrukturblatt oder einer Paralaxenbarriere, die auf einer Ansichtsoberfläche angeordnet sind, zum Anordnen und Anzeigen der Streifenbilder in Bereichen auf der Ansichtsoberfläche entsprechend den Linsen des Linsenstrukturblatts oder Schlitzen der Paralaxenbarriere.
  14. Bildverarbeitungsverfahren, gekennzeichnet durch: einen Bestimmungsschritt zum Bestimmen einer Änderungsbedingung einer Änderung in einer Darstellungsposition beim Bewegen einer Ansichtsposition zum Betrachten eines Bildes mit mehreren Blickwinkeln mit drei oder mehr Blickwinkeln in einer horizontalen Richtung, wobei die Darstellungsposition eine Position in einer Hinten-nach-Vorne-Richtung in einem Objektbild innerhalb eines Stereobildes ist, das mit dem Bild mit mehreren Blickwinkeln betrachtbar ist; einen Erfassungsschritt zum Erfassen eines Verschiebungsbetrages zum Ändern der Darstellungsposition entsprechend der von dem Bestimmungsschritt bestimmten Änderungsbedingung für jedes der Blickwinkelbilder, die das Bild mit mehreren Blickwinkeln bildet; einen Verschiebungsschritt zum Verschieben der Blickwinkelbilder jeweils mit dem in dem Erfassungsschritt erfassten Verschiebungsbetrag.
  15. Bildverarbeitungsprogramm zum Durchführen von Schritten in einem Computer, wobei die Schritte umfassen: einen Bestimmungsschritt zum Bestimmen einer Änderungsbedingung einer Änderung einer Darstellungsposition beim Bewegen einer Ansichtsposition zum Betrachten eines Bildes mit mehreren Blickwinkeln mit drei oder mehr Blickwinkeln in einer horizontalen Richtung, wobei die Darstellungsposition eine Position in einer Hinten-nach-Vorne-Richtung in einem Objektbild innerhalb eines Stereobildes ist, das mit dem Bild mit mehreren Blickwinkeln betrachtbar ist; einen Erfassungsschritt zum Erfassen eines Verschiebungsbetrags zum Ändern der Darstellungsposition entsprechend der in dem Bestimmungsschritt bestimmten Änderungsbedingung für jedes der Blickwinkelbilder, die das Bild mit mehreren Blickwinkeln bilden; einen Verschiebungsschritt zum Verschieben der Blickwinkelbilder jeweils mit dem in dem Erfassungsschritt erfassten Verschiebungsbetrag.
DE112013004718.7T 2012-09-26 2013-09-19 Bildverarbeitungsvorrichtung und Verfahren, und Programm, Drucker und Anzeigevorrichtung Expired - Fee Related DE112013004718B4 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012212586 2012-09-26
JP2012-212586 2012-09-26
PCT/JP2013/075247 WO2014050681A1 (ja) 2012-09-26 2013-09-19 画像処理装置、方法及びプログラム、プリンタ、表示装置

Publications (2)

Publication Number Publication Date
DE112013004718T5 true DE112013004718T5 (de) 2015-06-11
DE112013004718B4 DE112013004718B4 (de) 2017-10-19

Family

ID=50388086

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112013004718.7T Expired - Fee Related DE112013004718B4 (de) 2012-09-26 2013-09-19 Bildverarbeitungsvorrichtung und Verfahren, und Programm, Drucker und Anzeigevorrichtung

Country Status (5)

Country Link
US (1) US9529205B2 (de)
JP (1) JP5800996B2 (de)
CN (1) CN104704820B (de)
DE (1) DE112013004718B4 (de)
WO (1) WO2014050681A1 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6373671B2 (ja) * 2014-07-11 2018-08-15 東芝映像ソリューション株式会社 電子機器、方法及びプログラム
CN104243965B (zh) * 2014-10-08 2016-08-17 成都斯斐德科技有限公司 一种提升自由立体显示分辨率的方法
JP6261063B1 (ja) * 2017-08-01 2018-01-17 グラパックジャパン株式会社 可変画像表示体、レンチキュラー画像形成方法
CN107959846B (zh) * 2017-12-06 2019-12-03 苏州佳世达电通有限公司 影像显示设备及影像显示方法
JP7098342B2 (ja) * 2018-02-06 2022-07-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
CN108564541B (zh) * 2018-03-28 2022-04-15 麒麟合盛网络技术股份有限公司 一种图像处理方法及装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0329312D0 (en) * 2003-12-18 2004-01-21 Univ Durham Mapping perceived depth to regions of interest in stereoscopic images
JP4440066B2 (ja) * 2004-10-14 2010-03-24 キヤノン株式会社 立体画像生成プログラム、立体画像生成システムおよび立体画像生成方法
US8405708B2 (en) * 2008-06-06 2013-03-26 Reald Inc. Blur enhancement of stereoscopic images
JP2010278878A (ja) * 2009-05-29 2010-12-09 Fujifilm Corp 立体画像表示装置及びその表示画像切替方法
CN102598051B (zh) * 2009-10-30 2014-10-29 富士胶片株式会社 图像处理装置和图像处理方法
JP5387905B2 (ja) * 2009-12-25 2014-01-15 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2011154301A (ja) 2010-01-28 2011-08-11 Fujifilm Corp プリンタ及びプリント方法
JP2012044564A (ja) * 2010-08-20 2012-03-01 Sanyo Electric Co Ltd 撮像装置
KR101852811B1 (ko) * 2011-01-05 2018-04-27 엘지전자 주식회사 영상표시 장치 및 그 제어방법
US20120200676A1 (en) * 2011-02-08 2012-08-09 Microsoft Corporation Three-Dimensional Display with Motion Parallax

Also Published As

Publication number Publication date
CN104704820A (zh) 2015-06-10
US20150198815A1 (en) 2015-07-16
WO2014050681A1 (ja) 2014-04-03
JPWO2014050681A1 (ja) 2016-08-22
DE112013004718B4 (de) 2017-10-19
CN104704820B (zh) 2016-09-14
US9529205B2 (en) 2016-12-27
JP5800996B2 (ja) 2015-10-28

Similar Documents

Publication Publication Date Title
DE112013004718B4 (de) Bildverarbeitungsvorrichtung und Verfahren, und Programm, Drucker und Anzeigevorrichtung
EP2122409B1 (de) Verfahren und system zum kalibrieren und/oder visualisieren einer mehrbildanzeige und zum verringern von ghosting-artefakten
DE10245611B4 (de) Vorrichtung zur Anzeige von dreidimensionalen Bildern
DE69735488T2 (de) Verfahren und vorrichtung zum ausrichten von bildern
DE4312918A1 (de) Wiedergabeeinrichtung
EP2540089A2 (de) Verfahren zur visualisierung von dreidimensionalen bildern auf einer 3d-anzeigevorrichtung und 3d-anzeigevorrichtung
DE102014205519A1 (de) Verfahren und Vorrichtung zum Anpassen einer Anzeige eines autostereoskopischen Displays für ein Fahrzeug
WO2005025238A2 (de) Strahlteiler zur bildtrennung für autostereoskopie mit grossem sichtbarkeitsbereich
DE102008062790A1 (de) Verfahren und Anordnung zur räumlichen Darstellung
DE102005058586B4 (de) Wiedergabevorrichtung zur autostereoskopen Wiedergabe von dreidimensionalen Darstellungen
DE102010028668B4 (de) Verfahren zur räumlichen Darstellung
DE10056978B4 (de) Verfahren zur Erzeugung eines stereographischen Bildes
DE102017109021A1 (de) System für das stereoskopische Visualisieren eines Objektbereichs
DE102014206914A1 (de) Ein stereoskopisches Aufbereitungssystem
EP3170307B1 (de) Verfahren zur darstellung einer dreidimensionalen szene auf einem autostereoskopischen monitor
DE112015006086B4 (de) Bildverarbeitungsvorrichtung, Bildanzeigevorrichtung und Bildverarbeitungsverfahren
DE102010021550B4 (de) Bildwiedergabegerät und Verfahren zur Bildwiedergabe
EP2122415B1 (de) Autostereoskopisches Bildwiedergabegerät zur Erzeugung eines schwebenden reellen Stereobildes
WO2011032642A1 (de) Verfahren und vorrichtung zum erzeugen von teilansichten und/oder einer raumbildvorlage aus einer 2d-ansicht für eine stereoskopische wiedergabe
DE102005013822A1 (de) Verfahren zum Erzeugen von Bilddaten zur stereoskopischen Darstellung eines Objektes
DE19853608C2 (de) Verfahren zur Darstellung eines autostereoskopischen Bildes
DE102005020871B4 (de) Verfahren zur Darstellung von medizinischen Bildinformationen auf einem Anzeigemedium
WO2007085482A1 (de) Verfahren zur erzeugung und darstellung räumlich wahrnehmbarer bilder
DE4100992C2 (de)
DE112012002679T5 (de) Vorrichtung und Verfahren zum Codieren/Decodieren von Mehrfachansicht-Bildern

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0013040000

Ipc: H04N0013200000

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee