DE102017112806A1 - Texturevaluationssystem - Google Patents

Texturevaluationssystem Download PDF

Info

Publication number
DE102017112806A1
DE102017112806A1 DE102017112806.9A DE102017112806A DE102017112806A1 DE 102017112806 A1 DE102017112806 A1 DE 102017112806A1 DE 102017112806 A DE102017112806 A DE 102017112806A DE 102017112806 A1 DE102017112806 A1 DE 102017112806A1
Authority
DE
Germany
Prior art keywords
visual
skeletal
feature
features
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102017112806.9A
Other languages
English (en)
Inventor
Masayuki Watanabe
Noakazu Goda
Hidehiko Komatsu
Nanae Michida
Atsuhide Kishi
Kazuo Nishikawa
Takahide NOUZAWA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Publication of DE102017112806A1 publication Critical patent/DE102017112806A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/149Segmentation; Edge detection involving deformable models, e.g. active contour models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/174Segmentation; Edge detection involving the use of two or more images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/49Analysis of texture based on structural texture description, e.g. using primitives or placement rules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/34Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Die vorliegende Offenbarung ist bestrebt, beruhend auf visuellen Merkmalen des topologischen Skeletts des Objekts zu evaluieren, wie ein Objekt wahrgenommen wird. Eine Kamera S1 erhält ein Farbbild durch Aufnehmen eines Bilds eines Objekts, das als Evaluationsziel dient. Innerhalb des erhaltenen Bilds werden ein visueller Merkmalsbereich, der wahrscheinlich einer Person ins Auge springt, wenn die Person einen Blick auf das Objekt wirft, und eine Intensität eines visuellen Reizes jedes Bildpunkts des visuellen Merkmalsbereichs extrahiert. Visuelle Skelettmerkmale jedes Bildpunkts des Bilds werden innerhalb einer Konturregion ermittelt, die aus den extrahierten visuellen Merkmalsbereichen besteht. Die ermittelten visuellen Skelettmerkmale werden auf einem Display gezeigt.

Description

  • QUERVERWEIS AUF VERWANDTE ANMELDUNG
  • Diese Anmeldung beansprucht Priorität aus der japanischen Patentanmeldung Nr. 2016-117656 , die am 14. Juni 2016 eingereicht wurde und deren gesamte Offenbarung durch Erwähnung hierin mitaufgenommen ist.
  • HINTERGRUND
  • Die vorliegende Offenbarung betrifft ein Texturevaluationssystem.
  • Texturevaluation wird in verschiedenen Feldern genutzt. Die ungeprüfte japanische Patentveröffentlichung Nr. 2006-254107 offenbart eine Bildevaluationsvorrichtung, welche die Qualität eines mit einer Digitalkamera aufgenommenen Bilds beruhend auf einer Positionsbeziehung, Intensitätswerten und Intensitätsunterschieden in einem gefilmten Objekt evaluiert. Die ungeprüfte japanische Patentveröffentlichung Nr. 2005-260725 offenbart eine Vorrichtung, welche die Qualität einer bedruckten Fläche beruhend auf Intensitätsverteilung in einem bedruckten Objekt evaluiert.
  • ZUSAMMENFASSUNG
  • Beim Evaluieren einer Textur eines Objekts spielen sowohl ein topographisches Skelett, das aus Konturen des Objekts erhalten wird, als auch eine Fläche des Objekts eine wichtige Rolle. Während die bekannte Technik dem Evaluieren von Texturen von Flächen große Bedeutung beimisst, wurde aber der Texturevaluation aus der Sicht von topologischen Skeletten wenig Aufmerksamkeit geschenkt.
  • Im Hinblick auf das Vorstehende versucht die vorliegende Offenbarung, ein Texturevaluationssystem an die Hand zu geben, welches beruhend auf visuellen Merkmalen des topologischen Skeletts des Objekts evaluieren kann, wie ein Objekt wahrgenommen wird.
  • Die vorliegende Offenbarung schlägt die folgende Lösung vor. Gemäß einem ersten Aspekt der Offenbarung ist diese Lösung ein Texturevaluationssystems, welches umfasst:
    einen Bildgeber zum Erhalten eines Farbbilds durch Aufnehmen eines Bilds eines Objekts, das als Evaluationsziel dient;
    einen Extraktor für visuelle Merkmalsbereiche, der innerhalb des durch den Bildgeber erhaltenen Bilds einen visuellen Merkmalsbereich, der wahrscheinlich einer Person ins Auge springt, wenn die Person das Objekt erblickt, und eine Intensität eines visuellen Reizes eines Bildpunkts des visuellen Merkmalsbereichs extrahiert;
    einen Ermittler visueller Skelettmerkmale zum Ermitteln von visuellen Skelettmerkmalen des Bildpunkts des Bilds bezüglich einer Konturregion, die aus mehreren visuellen Merkmalsbereichen besteht, die von dem Extrahierungsbereich visueller Merkmalspunkte extrahiert werden; und
    ein Display, das die visuellen Skelettmerkmale anzeigt, die von dem Ermittler von visuellen Skelettmerkmalen ermittelt werden.
  • Die vorstehende Lösung ermöglicht beruhend auf einem topologischen Skelett (mediale Achse) das Evaluieren der Textur einer Kontur, die durch visuelle Merkmalsbereiche geformt ist, die Abschnitte zeigen, die einer Person wahrscheinlich ins Auge springen, sobald die Person sie erblickt, indem eine Skelettstruktur der Kontur in einer Weise gezeigt wird, in der die visuellen Skelettmerkmale – die einen Salienzgrad zeigen – verteilt sind.
  • Vorteilhafte Ausführungsformen der vorstehenden Lösung werden in einem zweiten und weiteren Aspekten der Offenbarung beschrieben. Arten von visuellen Merkmalsbereichen können mindestens Intensität, Chrominanz und Ausrichtung umfassen (zweiter Aspekt der Offenbarung). Intensität, Chrominanz und Ausrichtung sind Merkmale, die wahrscheinlich einer Person ins Auge springen, sobald die Person sie erblickt. Das Aufnehmen dieser Faktoren als visuelle Merkmalsbereiche ist daher für das Durchführen einer Texturevaluation auf hoher Ebene vorteilhaft.
  • Der Extraktor für visuelle Merkmalsbereiche kann das Bild in mehrere Bilder für jede Art der visuellen Merkmalsbereiche zerlegen, visuelle Merkmalsbereiche aus jedem der Bilder extrahieren und die aus jedem der Bilder extrahierten visuellen Merkmalsbereiche zu einem einzigen Bild integrieren (dritten Aspekt der Offenbarung). In dieser Ausführungsform kann ein Bild erhalten werden, das präzis die visuellen Skelettmerkmale bezüglich Intensität, Chrominanz bzw. Ausrichtung wiedergibt. Diese Konfiguration ist insofern vorteilhaft, als sie das Durchführen einer Texturevaluation auf hoher Ebene erlaubt.
  • Der Ermittler von visuellen Skelettmerkmalen kann pro Bildpunkt des Bilds mehrere ringförmige Abschnitte festlegen, die durch mehrere Kreise, die unterschiedliche Durchmesser aufweisen und um jeden der Bildpunkte zentriert sind, definiert sind, kann eine Intensität eines visuellen Reizes in jedem der ringförmigen Abschnitte durch Berechnen einer Intensität eines visuellen Reizes jedes der in jedem der ringförmigen Abschnitte enthaltenen Bildpunkte ermitteln und kann visuelle Skelettmerkmale für jeden der Bildpunkte beruhend auf der Intensität des visuellen Reizes in jedem der ringförmigen Abschnitte ermitteln (vierter Aspekt der Offenbarung). Diese Ausführungsform ist insofern vorteilhaft, als die visuellen Skelettmerkmale, die in jedem der Bildpunkte enthalten sind, präzis ermittelt werden können, während umgebende visuelle Skelettmerkmale hinzugefügt und ein Einfluss von Rauschen effektiv eliminiert wird.
  • Der Ermittler von visuellen Skelettmerkmalen kann schließlich die visuellen Skelettmerkmale jedes der Bildpunkte durch ein allmähliches Addieren der Intensität des visuellen Reizes innerhalb eines ringförmigen Abschnitts zu der Intensität des visuellen Reizes in einem äußeren ringförmigen Abschnitt ermitteln. Bei der allmählichen Addition ist eine erste Summe definiert als ”DmnK+1”, eine vorherige Summe als ”DmnK,” eine zuerst addierte Intensität eines visuellen Reizes innerhalb eines ringförmigen Abschnitts als ”SmnK” und ein Parameter als ”v” (1 > v > 0). Dann wird die erste Summe ”DmnK+1” beruhend auf Gleichung (2) berechnet, wobei ”mn” Koordinaten einer Mitte des ringförmigen Abschnitts sind und ”K” ein Suffix ist (fünfter Aspekt der Offenbarung). Diese Ausführungsform schlägt ein konkretes Berechnungsverfahren zum Ermitteln der visuellen Skelettmerkmale jedes Bildpunkts vor.
  • Gleichung (2)
    Figure DE102017112806A1_0002
  • Der Ermittler von visuellen Skelettmerkmalen kann eine Spitzenposition der visuellen Skelettmerkmale ermitteln (sechster Aspekt der Offenbarung). Diese Ausführungsform ist insofern vorteilhaft, als eine Textur beruhend auf der Spitzenposition der visuellen Skelettmerkmale evaluiert wird.
  • Der Ermittler von visuellen Skelettmerkmalen kann eine Hauptkomponente der visuellen Skelettmerkmale ermitteln (siebter Aspekt der Offenbarung). Diese Ausführungsform ist insofern vorteilhaft, als eine Textur beruhend auf der Hauptkomponente der visuellen Skelettmerkmale evaluiert wird.
  • Der Ermittler von visuellen Skelettmerkmalen kann sowohl eine Spitzenposition als auch eine Hauptkomponente der visuellen Skelettmerkmale ermitteln (achter Aspekt der Offenbarung). Diese Ausführungsform ist insofern vorteilhaft, als eine Textur beruhend sowohl auf der Spitzenposition als auch der Hauptkomponente der visuellen Skelettmerkmale präzis evaluiert werden kann.
  • Das als Evaluationsziel dienende Objekt kann eine Innenraumkomponente eines Fahrzeugs sein (neunter Aspekt der Offenbarung). Diese Ausführungsform ist insofern vorteilhaft, als die Textur der Innenraumkomponente eines Fahrzeugs mithilfe sowohl der Spitzenposition als auch der Hauptkomponente der visuellen Skelettmerkmale präzis evaluiert werden kann.
  • Die vorliegende Offenbarung ermöglicht das Evaluieren beruhend auf visuellen Merkmalen des topologischen Skeletts des Objekts, wie die Textur eines Objekts wahrgenommen wird.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • 1 zeigt ein beispielhaftes topologisches Skelett.
  • 2 zeigt ein beispielhaftes topologisches Skelett.
  • 3 zeigt ein beispielhaftes topologisches Skelett.
  • 4 zeigt ein beispielhaftes topologisches Skelett.
  • 5 zeigt, wie sich das topologische Skelett von 4 ändert, wenn ein großer Felsen weggenommen wird.
  • 6 zeigt, wie sich das topologische Skelett von 4 ändert, wenn ein großer Felsen hinzugefügt wird.
  • 7 zeigt ein Bild, das von einem Armaturenbrett eines Fahrzeugs aufgenommen wurde.
  • 8 ist eine Karte, die eine Verteilung von visuellen Skelettmerkmalen zeigt, die beruhend auf dem Bild von 7 erhalten wurden.
  • 9 zeigt eine Verteilung von visuellen Skelettmerkmalen bei einer vorbestimmten Höhenposition extrahiert aus der Karte von 8.
  • 10 entspricht 9 und zeigt eine Verteilung von visuellen Skelettmerkmalen von Armaturenbrettern von mehreren Fahrzeugen.
  • 11 zeigt Ergebnisse einer Hauptkomponentenanalyse der Verteilung der visuellen Skelettmerkmale in den Armaturenbrettern der mehreren Fahrzeuge.
  • 12A und 12B zeigen Eigenschaften eines Fahrerfokus und eines Beifahrersitzfokus, die eine Fahrerkomponente definieren.
  • 13A und 13B zeigen Merkmale eines Fokus Mensch und eines Fahrzeugfokus, die eine Komponente Mensch definieren.
  • 14 zeigt die Positionierung der Armaturenbretter in den mehreren Fahrzeugen in einem Kennfeld, in dem die Fahrerkomponente und die Komponente Mensch als Parameter dienen.
  • 15 zeigt ein beispielhaftes Steuersystem gemäß der vorliegenden Offenbarung.
  • 16 ist ein Flussdiagramm, das ein Steuerungsbeispiel gemäß der vorliegenden Offenbarung zeigt.
  • 17 zeigt ein topologisches Skelett, das aus einer Kontur extrahiert wurde, die Rauschen beinhaltet, nur mittels eingetragener Kreise.
  • 18 zeigt ein topologisches Skelett, das aus der Kontur extrahiert wurde, die die Rauschen beinhaltet, mittels visueller Skelettmerkmale in mehreren ringförmigen Abschnitten, die jeweils konzentrisch um jeden von mehreren Bildpunkten sind.
  • 19 zeigt, wie visuelle Skelettmerkmale für jeden von mehreren ringförmigen Abschnitten ermittelt werden.
  • 20 zeigt einen Prozess zum Erhalten einer Karte, die visuelle Skelettmerkmale bezüglich Intensität, Chrominanz bzw. Ausrichtung zusammenfasst.
  • EINGEHENDE BESCHREIBUNG
  • Nach Erläutern des Begriffs ”mediale Achse”, der ein Skelett einer Kontur bezeichnet, werden Ausführungsformen der vorliegenden Offenbarung näher beschrieben. Zu beachten ist, dass in der folgenden Beschreibung die ”mediale Achse” auch als ”topologisches Skelett” (d. h. ”Konturskelett”) bezeichnet wird.
  • Wenn ein Mensch die Textur eines Objekts (d. h. die Ästhetik oder Schönheit des Objekts) evaluiert, nimmt er zusätzlich zur Texter einer Oberfläche des Objekts die mediale Achse – d. h. das topologische Skelett – des Objekts wahr. Somit spielt die mediale Achse eine ausschlaggebende Rolle bei der Texturevaluation. Neben visuellen Merkmalspunkten weisen das topologische Skelett und seine Umgebung ein hohes Maß an visueller Wahrnehmbarkeit auf und werden daher wahrscheinlich unterbewusst wahrgenommen (d. h. das menschliche Auge fokussiert wahrscheinlich auf das topologische Skelett eines Objekts).
  • 1 zeigt eine Kontur K1 mit mehreren visuellen Merkmalspunkten, die miteinander kombiniert sind und einen Bereich bilden, der für einen Menschen leicht visuell wahrnehmbar ist. Ein topologisches Skelett (eine mediale Achse) MA1 der Kontur K1 wird durch Ermitteln von Kreisen, die die Kontur K1 an zwei oder mehr Tangentenpunkten einschreiben, und durch Verbinden von Mittelpunkten dieser Kreise zu einer linearen Form erhalten. Man kann mit anderen Worten sagen, dass die Kontur K1 durch Erkennen der Kontur von MA1 erkannt wird. 2 zeigt das topologische Skelett einer Katze von der Seite aus gesehen. Dieses topologische Skelett wird als MA2 bezeichnet. 3 zeigt das topologische Skelett einer menschlichen Hand. Dieses topologische Skelett wird als MA3 bezeichnet.
  • Unter Verweis auf 4 bis 6 werden Einzelheiten bezüglich des topologischen Skeletts (mediale Achse) eines Objekts näher erläutert. In vereinfachter Weise zeigt 4 die Konturen eines tatsächlich vorhandenen Tempelkomplexes mit einem Steingarten aus einer Vogelperspektive. In der Zeichnung bezeichnet das Bezugszeichen 1 den Steingarten, während das Bezugszeichen 2 einen bestimmten Ort in einem Raum (butsuma) bezeichnet, der einen buddhistischen Altar einnimmt. Ein Korridor führt zu dem butsuma, der zu dem Steingarten 1 weist. In dem Steingarten 1 sind fünf große Felsen S1 bis S5, die als visuelle Merkmalspunkte dienen, in einem Kieselsteinbett (Kies) angeordnet. Das topologische Skelett der in 4 gezeigten Anordnung ist mit dem Bezugszeichen MA11 bezeichnet. In dem Bereich des Steingartens 1 weist das topologische Skelett MA11 mehrere Verzweigungen auf. Das topologische Skelett MA11 ist um eine topologische Skelettabzweigung MA11-1 zentriert und führt hin zu einem bestimmten Ort 2. Es wird angenommen, dass der beste Fleck zum Betrachten des Felsgartens 1 ein Fleck an oder in der Nähe der topologischen Skelettabzweigung MA11-1 ist, die zu dem bestimmten Ort 2 führt. Wie aus dem Vorstehenden verständlich wird, ist das topologische Skelett eines Objekts ein hochwichtiger Faktor, wenn es um die visuelle Wahrnehmung von Schönheit geht.
  • 5 zeigt das topologische Skelett von 4 in einem Zustand nach Wegnehmen eines großen Felsen S1. Dieses topologische Skelett ist mit den Bezugszeichen MA12 und MA13 bezeichnet. In dem in 5 gezeigten Fall ist das topologische Skelett in zwei Verzweigungen unterteilt, die hin zu dem bestimmten Ort 2 führen: eine topologische Skelettabzweigung MA12-1 und ein topologisches Skelett MA13. 6 zeigt das topologische Skelett von 4 in einem Zustand nach Hinzufügen eines großen Felsen S6. Das topologische Skelett ist mit dem Bezugszeichen MA14 bezeichnet. In dem in 6 gezeigten Fall weist das topologische Skelett MA14 zwei Verzweigungen auf, die hin zu dem bestimmten Ort 2 führen: MA14-1 und MA14-2. Das topologische Skelett in dem in 5 gezeigten Fall führt nicht direkt hin zu dem butsuma. Das topologische Skelett in dem in 6 gezeigten Fall führt ein wenig hin zu dem butsuma, ist aber verglichen mit dem in 4 gezeigten topologischen Skelett verschoben. Zu beachten ist, dass 4 bis 6 nicht zeigen sollen, wie Unterschiede zwischen den topologischen Skeletten die Schönheit eines Steingartens beeinflussen. Diese Zeichnungen sollen lediglich zeigen, wie sich das topologische Skelett ändert, wenn die großen Felsen (S1 bis S6), die als visuelle Merkmalspunkte dienen, unterschiedlich positioniert werden.
  • Nun wird anhand von 7 bis 9 erläutert, wie das Design eines Armaturenbretts (einer Innenraumkomponente) eines Fahrzeugs – in diesem Fall eines Autos – einen Betrachter beeinflusst. 7 zeigt ein Bild G1, das von einem Armaturenbrett eines Fahrzeugs, das tatsächlich existiert, aufgenommen wurde. In dem Bild G1 ist die Instrumententafel mit dem Bezugszeichen 10 bezeichnet. In dem Armaturenbrett 10 eingebaute Komponenten umfassen u. a. ein Lenkrad 11, eine Anzeige 12, eine Instrumententafel 13 und Klimaanlagen-Lüftungsöffnungen 14. Das in 7 gezeigte Bild G1 wurde in einer Breitenrichtung des Fahrzeugs von hinter dem Armaturenbrett 10 von einer mittleren Position aus aufgenommen. Als Bildgebungsvorrichtung wurde eine Digitalkamera verwendet, die Farbbilder machen kann.
  • Es wird ein korrigiertes Bild, in dem aus dem Bild G1 von 7 saliente Merkmale extrahiert sind, erhalten, wie später beschrieben wird. Beruhend auf diesem korrigierten Bild werden Merkmale, die den Salienzgrad anzeigen, berechnet und abgebildet, wie in 8 gezeigt ist. Der Begriff ”salientes Merkmal” bezeichnet einen Abschnitt (oder eine Region), die wahrscheinlich einer Person ins Auge springt, wenn die Person ihn/sie erblickt. In dieser Ausführungsform werden solche Abschnitte oder Regionen beruhend auf Intensität, Chrominanz (Kontrast) und Ausrichtung, welche als Parameter dienen, spezifiziert. Zu beachten ist, dass der Begriff ”Ausrichtung” eine Kantenrichtung von anderen Abschnitten als im Wesentlichen unregelmäßigen Abschnitten des Umfangs eines Objekts bezeichnet.
  • In dem in 7 gezeigten Bild G1 umfassen saliente Merkmale (die wahrscheinlich auf den ersten Blick wahrgenommen werden) die Chrominanz, Größe und Kontur des Armaturenbretts 10. Ferner sind das Lenkrad 11 (das an sich ein vorspringendes Objekt ist und dekorative Metallabschnitte eines hohen Grads an Intensität umfasst), die Anzeige 12 (die ein vorspringendes Objekt mit einem hohen Intensitätsgrad ist) und die Klimaanlagen-Lüftungsöffnungen 14 (die eine bestimmte Kontur aufweisen und an ihren Umfangsrändern vorgesehene dekorative Metallabschnitte umfassen) enthalten.
  • Durch Erhalten eines topologischen Skeletts der Kontur (die eine virtuelle Kontur ist), das durch die salienten Merkmale gebildet wird, werden visuelle Skelettmerkmale wie die in 8 gezeigten erhalten. Zu beachten ist, dass nachstehend sowohl in der Beschreibung als auch in den Zeichnungen der Begriff ”visuelle Skelettmerkmale” auch einfach als ”Merkmale” bezeichnet wird. In 8 bezeichnet der geschwärzte Bereich den sichtbarsten Abschnitt (d. h. einen Abschnitt mit einer großen Menge an visuellen Skelettmerkmalen). Die Regionen mit einem Gitterrastermuster, Schraffurmuster, gestrichelten Schraffurmuster, Punktmuster und die Region ohne Muster zeigen in dieser Reihenfolge zunehmend weniger sichtbare Abschnitte an (Abschnitte mit einer kleinen Menge von visuellen Skelettmerkmalen).
  • Beruhend auf den in 8 gezeigten visuellen Skelettmerkmalen zeigt 9 visuelle Skelettmerkmale auf einer Sitzgurthöhe verteilt über eine gesamte Breite des Fahrzeugs. Der Begriff ”horizontale Position” in 9 bezeichnet eine Position in einer Breitenrichtung des Fahrzeugs. Die horizontale Position ”0” ist die Mittenposition in der Breitenrichtung des Fahrzeugs. Der Begriff ”Fahrersitz” bezeichnet eine laterale Mittenposition des Fahrersitzes, während der Begriff ”Beifahrersitz” eine laterale Mittenposition des Beifahrersitzes bezeichnet. In 8 bezeichnet der Begriff ”Sitzgurthöhe” ferner eine Höhenposition des Sitzgurtes. (Im Einzelnen handelt es sich um eine Position, bei der in der Nähe einer Beifahrerschulter, d. h. an einer Position bei einer Höhe, die in etwa auf Höhe der Augen des Beifahrers ist, eine Sitzgurtverankerung eingebaut ist.)
  • In 9 weisen die visuellen Skelettmerkmale zwei Spitzenpunkte (Spitzenpositionen) auf, die Salienz anzeigen: einen vor dem Fahrersitz und einen vor dem Beifahrersitz in der Breitenrichtung des Fahrzeugs an einer Position weg von dem mittleren Abschnitt des Armaturenbretts. Vor dem Fahrersitz befinden sich aber mehr visuelle Skelettmerkmale als an jeder anderen Position. Somit kann evaluiert werden, dass in 9 das Design des Armaturenbretts und seiner Umgebung auf den Fahrer abgestellt ist. Dies bedeutet, dass das Armaturenbrett vom Fahrersitz aus gesehen einen hohen Salienzgrad aufweist.
  • Gemessen anhand von 9 ist es möglich, die Menge visueller Skelettmerkmale vor dem Beifahrersitz durch z. B. Hinzufügen eines Dekorelements aus Metall, das sich in der Breitenrichtung des Fahrzeugs weitet, in der Region des Armaturenbretts direkt vor dem Beifahrersitz stark zu vergrößern. Umgekehrt ist es möglich, die Menge visueller Skelettmerkmale vor dem Fahrersitz durch Entfernen von z. B. einem salienten Dekorelement aus Metall von der Instrumententafel vor dem Fahrersitz oder eines an dem Lenkrad angebrachten Dekorelements aus Metall zu reduzieren. Weiterhin ist es möglich, die Menge von visuellen Skelettmerkmalen um den in der Breitenrichtung des Fahrzeugs mittleren Abschnitt durch Einbauen von Elementen, z. B. eines Auto-Stereogeräts oder eines Klimaanlagen-Steuerfelds, die in der Breitenrichtung des Fahrzeugs am mittleren Abschnitt des Armaturenbretts vorgesehen sind, an einer salienteren Position zu vergrößern.
  • Im Folgenden wird eine virtuelle Kontur angestrebt, die mehrere visuelle Merkmalspunkte umfasst. Die virtuelle Kontur ist eine Kontur, die die visuellen Merkmalspunkte einkreist, und weist einen Außenrand auf, der Abschnitte verbindet, in denen die Stärke eines visuellen Reizes innerhalb eines relativ kleinen Bereichs in dem Bild größer oder gleich einem vorbestimmten Wert ist. In oder um ein visuelles topologisches Skelett der virtuellen Kontur ist der Grad visueller Wahrnehmung hoch. Eine Person wirft ihren Blick wahrscheinlich auf das visuelle topologische Skelett (d. h. der Blick einer Person wird hin zu dem visuellen topologischen Skelett gerichtet). Folglich ist es vorteilhaft, bei Gestalten eines Objekts das Konzept von visuellen topologischen Skeletten im Auge zu behalten. Zum Beispiel ist es vorteilhaft, dass ein häufig betätigter Schalter an oder nahe einem topologischen Skelett positioniert wird. Umgekehrt ist es vorteilhaft, einen selten betätigten Schalter oder ein außer Sichtweite zu haltendes Objekt fern von einem visuellen topologischen Skelett zu positionieren.
  • 10 zeigt Ergebnisse von erhaltenen visuellen Skelettmerkmalen, die denen von 9 entsprechen, für mehrere Fahrzeuge (Autos) – die tatsächlich auf dem Markt erhältlich sind – durch Aufnehmen von Bildern dieser Fahrzeuge wie das in 7 gezeigte Bild. 11 zeigt Ergebnisse einer Hauptkomponentenanalyse der in 10 erhaltenen Ergebnisse. Diese Ergebnisse zeigen, dass viele Fahrzeuge mit einem Fokus auf den Fahrer (”Fahrerfokus”) gestaltet sind. Dies bedeutet, dass die Menge visueller Skelettmerkmale vor dem Fahrersitz extrem hoch ist, wogegen die Menge visueller Skelettmerkmale vor dem Beifahrersitz klein ist. Ferner zeigen die Ergebnisse, dass viele Fahrzeuge mit einem so genannten ”Fokus Mensch” gestaltet sind. Dies bedeutet, dass die Menge visueller Skelettmerkmale vor dem Fahrersitz in etwa so hoch ist wie die vor dem Beifahrersitz, während die Menge visueller Skelettmerkmale in der Breitenrichtung des Fahrzeugs an dem Mittenabschnitt des Armaturenbretts klein ist.
  • Zum Evaluieren eines Priorisierungsgrads zwischen dem Fahrer und dem Vordersitz-Beifahrer bei der Gestaltung eines Armaturenbretts wird, wenn es um die Menge visueller Skelettmerkmale geht, der Begriff ”Beifahrersitz-Fokus” zusätzlich zu dem vorstehend erwähnten Begriff ”Fahrerfokus” eingeführt. Der Fahrerfokus und der Beifahrersitz-Fokus bezeichnen eine ”Fahrerkomponente”. Im Einzelnen zeigt 12A, wie visuelle Skelettmerkmale verteilt sind, wenn ein Armaturenbrett mit einem Fahrerfokus gestaltet ist (entsprechend der durchgehenden Linie von 11). 12B zeigt, wie die visuellen Skelettmerkmale verteilt sind, wenn ein Armaturenbrett mit einem Beifahrersitz-Fokus gestaltet ist (d. h. entgegen dem Design mit Fahrerfokus können sich die meisten visuellen Skelettmerkmale vor dem Beifahrersitz befinden, wogegen die Menge an visuellen Skelettmerkmalen vor dem Fahrersitz klein ist).
  • Zum Evaluieren des Priorisierungsgrads zwischen Mensch und Fahrzeug bei der Gestaltung des Armaturenbretts wird der Begriff ”Komponente Mensch” eingeführt. Die Komponente Mensch wird durch den vorstehend erwähnten Fokus Mensch (Beifahrerfokus) und einen so genannten ”Fahrzeugfokus” angegeben. 13B zeigt, wie die visuellen Skelettmerkmale verteilt sind, wenn ein Armaturenbrett mit einem Fokus Mensch gestaltet ist. Diese Verteilung entspricht der durch die Strichlinie von 11 angegebenen. 13B zeigt, wie die visuellen Skelettmerkmale verteilt sind, wenn ein Armaturenbrett mit einem Fahrzeugfokus gestaltet ist. Abgesehen vom Design mit Fokus Mensch ist hier die Menge visueller Skelettmerkmale vor sowohl dem Fahrersitz als auch dem Beifahrersitz klein, wogegen die Menge visueller Skelettmerkmale zwischen den Sitzen – d. h. in dem mittleren Abschnitt des Armaturenbretts – hoch ist.
  • Tatsächliche visuelle Skelettmerkmale gehören nicht nur zu einer einzigen Kategorie aus ”Fahrerfokus”, ”Beifahrersitz-Fokus”, ”Fahrzeugfokus” und ”Fokus Mensch”, sondern in unterschiedlichem Maße zu allen diesen Kategorien. 14 nutzt die Kategorien ”Fahrerfokus”, ”Beifahrersitz-Fokus”, ”Fahrzeugfokus” und ”Fokus Mensch” als Parameter, um Eigenschaften der Armaturenbretter von tatsächlichen Fahrzeugen abzubilden. Die Kreise in 14 zeigen die tatsächlichen Fahrzeuge. Von diesen Fahrzeugen können die Eigenschaften des einen, das mit dem schraffierten Kreis gezeigt ist, geändert werden, z. B. in der durch die Pfeile angedeuteten Richtung, indem saliente Merkmale der Armaturenbretter dieses Fahrzeugs geändert werden.
  • 14 zeigt eine Korrelation zwischen dem ”Fahrerfokus”, dem ”Beifahrersitz-Fokus”, dem ”Fahrzeugfokus” und dem ”Fokus Mensch”. Alternativ können aber durch Zeigen nur der Korrelation zwischen dem ”Fahrerfokus” und dem ”Beifahrersitz-Fokus” oder nur der Korrelation zwischen dem ”Fahrzeugfokus” und dem ”Fokus Mensch” Eigenschaften erhalten werden.
  • Die Eigenschaften, die auf den visuellen Skelettmerkmalen beruhen, die in der vorliegenden Offenbarung erhalten werden, evaluieren nicht, wie gut oder schlecht die Armaturenbretter der Fahrzeuge aussehen (Grad an Schönheit). Stattdessen zeigen diese Eigenschaften in einem körperlichen (objektiven) Sinn, wie die visuellen Skelettmerkmale eine visuelle Wahrnehmung des Armaturenbretts durch eine Person beeinflussen. Folglich ist es vorteilhaft, das Design eines Fahrzeugs, etwa eines Sportwagens, in dem der Fokus vorteilhafterweise auf dem Fahrer und dem Fahrzeug liegt, zu entwickeln (oder zu ändern), so dass – in einer Merkmalskarte wie der in 14 gezeigten – das Fahrzeug einen starken Fahrerfokus und einen starken Fahrzeugfokus hat. Dagegen ist es vorteilhaft, das Design eines Fahrzeugs, etwa eines Familienwanges, bei dem dem Fahrer und dem Fahrzeug weniger Bedeutung beigemessen wird, so zu entwickeln (oder zu ändern), dass das Fahrzeug einen starken Beifahrersitz-Fokus und einen starken Fokus Mensch hat. In jedem Fall ist ein objektives Verstehen der Eigenschaften der visuellen Skelettmerkmale, die auf salienten Merkmalen beruhen, beim Entwickeln und Ändern von Design sehr nützlich.
  • Als Nächstes wird ein beispielhaftes Steuersystem zum Erhalten von visuellen Skelettmerkmalen wie den in 9 gezeigten erläutert. In 15 bezeichnet das Bezugszeichen U ein Steuergerät, das einen Mikrocomputer einsetzt (in dieser Ausführungsform wird ein handelsüblicher PC genutzt). In das Steuergerät U wird ein Bild (entsprechend dem Bild G1 von 7), das mit einer Digitalkamera S1 aufgenommen wurde, die Farbbilder machen kann, eingegeben. Beruhend auf der Bildeingabe gibt das Steuergerät U zwei Arten von Merkmalen aus und zeigt diese auf einem Display. Die ausgegebenen Merkmale werden als Merkmal S11, das einen Spitzenwert von visuellen Skelettmerkmalen anzeigt, und als Merkmal S12, das eine Hauptkomponente anzeigt, definiert.
  • 16 zeigt, welche Art von Steuerung das Steuergerät U ausführt. Im Folgenden wird das in 16 gezeigte Flussdiagramm erläutert. Das Bezugszeichen Q zeigt Schritte an.
  • Zunächst wird in Schritt Q1 ein Bild (ein Farbbild, wie das in 7 gezeigte) in das Steuergerät U eingegeben. Dann wird in Schritt Q2 beruhend auf dem in das Steuergerät U eingegebenen Bild eine Salienzkarte erstellt, wie später beschrieben wird. In Schritt Q3 wird die in Schritt Q2 erstellte Salienzkarte verwendet, um ein topologisches Skelett (mediale Achse) zu berechnen (d. h. um Merkmale wie die in 8 gezeigten zu erhalten).
  • Als Nächstes wird in Schritt Q4 ein horizontaler Querschnitt bei einer Wunschhöhe (die der Sitzgurthöhe von 8 entspricht) aus dem Bild extrahiert. Anschließend wird in Schritt Q5 die Spitze (ein Spitzenwert und seine Position) der visuellen Skelettmerkmale extrahiert. Dann wird in Schritt Q6 eine Hauptkomponentenanalyse des horizontalen Querschnitts durchgeführt. Schließlich wird in Schritt Q7 die in Schritt Q5 extrahierte Spitze (Merkmal) ausgegeben und als Merkmal S11 angezeigt und es werden Ergebnisse der in Schritt Q6 durchgeführten Analyse ausgegeben und angezeigt.
  • Als Nächstes wird anhand von 20 ein beispielhaftes Verfahren zum Erstellen der Salienzkarte von Schritt Q2, das in 16 gezeigt ist (eine Karte, die – wie die in 8 gezeigte Karte – die Verteilung von visuellen Skelettmerkmalen zeigt), erläutert. Zunächst wird an dem Bild G1, das ein Bild wie das in 7 gezeigte ist, das mit einer Digitalkamera S1 aufgenommen wurde, Prozess 1 ausgeführt. Im Rahmen des Prozesses 1 wird das Bild G1 durch lineares Filtern in Bilder von drei Kategorien unterteilt: Intensität, Chrominanz und Ausrichtung. Im Einzelnen werden in Prozess 1 mehrere skalierte Bilder, deren Auflösung allmählich herabgesetzt ist, beruhend auf dem eingegebenen Bild (einem RGF-Farbbild) erzeugt. Anschließend wird jede der drei Komponenten – Intensität, Chrominanz und Ausrichtung – nacheinander aus jedem der skalierten Bilder extrahiert.
  • Im Anschluss an Prozess 1 wird Prozess 2 ausgeführt. In Prozess 2 werden im Rahmen eines Vorprozesses Zentrum-Umfeld-Unterschiede jedes der Bilder, die in drei Kategorien unterteilt sind, berechnet, um drei Arten von Merkmalskarten zu erhalten, und es wird Normalisierung durchgeführt. In Prozess 2 werden drei Arten von Merkmalskarten mithilfe der Differenz von Gaußglocken erstellt, d. h. durch Subtrahieren einer breiten Gaußschen Verteilung (geglättetes Bild mit einer niedrigen Auflösung) von einer schmalen Gaußschen Verteilung (geglättetes Bild mit einer hohen Auflösung). (Es werden Karten erhalten, in denen Merkmale extrahiert werden, die Mexican-Hat-Funktionen ähneln.)
  • In Prozess 2 folgt auf den Vorprozess ein Nachprozess. Im Rahmen des Nachprozesses werden Maxima M von Reizintensitäten und Mittelwerte m der Maxima M für jede der drei Arten von in dem Vorprozess erstellen Merkmalskarten ermittelt. Zum Beispiel wird der folgende Normalisierungsprozess durchgeführt. Es werden Werte in jeder der Merkmalskarten normalisiert, so dass ein fester Bereich von 0 bis M erhalten wird. Als Nächstes wird in jeder der Merkmalskarten eine Position zum Extrahieren des Maximums M detektiert, es werden alle lokalen Maxima an anderen Positionen als der Position des Maximums M extrahiert und es wird ein Mittelwert m der lokalen Maxima ermittelt. Dann werden alle Werte in jeder der Merkmalskarten mit (M – m)2 multipliziert, um neue Merkmalskarten zu erstellen. In den so erhaltenen drei Merkmalskarten werden Positionen von Bildpunkten durch X- und Y-Koordinaten angezeigt, während Intensitäten von visuellen Reizen an einer Z-Achse angezeigt werden.
  • Anschließend werden in Prozess 3 die drei in Prozess 2 erstellten Merkmalskarten, die unterschiedliche Maßstäbe aufweisen, linear kombiniert und normalisiert. D. h. bezüglich jeder der Karten wird für jedes der Merkmale (Intensität, Chrominanz, Ausrichtung) eine lineare Summe extrahiert, um auffällige Karten zu erstellen. Ferner werden die auffälligen Karten für jedes der Merkmale einem Prozess, der dem Nachprozess ähnelt, unterzogen.
  • Dann wird in Prozess 4 die lineare Summe berechnet, um eine Karte (Salienzkarte) zu erhalten, die die drei Arten von Merkmalskarten integriert. D. h. nach Summieren der auffälligen Karten jedes der drei Merkmale, die in Prozess 3 erhalten werden, wird durch Multiplizieren der Summe der auffälligen Karten mit einem Drittel eine Maßstabskarte (Salienzkarte) erstellt.
  • Zu beachten ist, dass die salienten Merkmale in dieser Ausführungsform als die drei Merkmale Intensität, Chrominanz und Ausrichtung definiert sind. In dem in 20 gezeigten Prozess wird daher vor dem Verarbeiten das Bild in Bilder für jedes dieser drei Merkmale unterteilt. Alternativ können aber die salienten Merkmale als vier oder mehr Merkmalen definiert sein. In diesem Fall würde vor dem Verarbeiten in gleicher Weise das Bild in vier oder mehr Bilder unterteilt werden. Das Verarbeiten des Bilds durch Aufteilen desselben in Bilder für jedes saliente Merkmal ermöglicht das Erhalten der Intensität des visuellen Reizes für jedes saliente Merkmal mit einem hohen Maß an Präzision. Natürlich ist es auch denkbar, eine Bildverarbeitung ohne Aufteilen des Bilds in Bilder für die verschiedenen salienten Merkmale durchzuführen. In diesem Fall kann es aber abhängig von dem fraglichen salienten Merkmal schwierig sein, die Intensität seines visuellen Reizes ausreichend wiederzugeben.
  • Als Nächstes wird anhand von 19 erläutert, wie die visuellen Skelettmerkmale jedes Bildelements (Bildpunkts) beruhend auf der erstellten Salienzkarte berechnet werden. Das in 19 gezeigte Beispiel betrifft ein Verfahren, das das Eliminieren von Rauschen von Bildpunkten in dem Prozess des Extrahierens des topologischen Skeletts ermöglicht.
  • Wenn in 19 ein Bildpunkt (mit den Koordinaten m, n) einen anderen Bildpunkt einschreibt, der eine Intensität eines visuellen Reizes größer oder gleich einem vorbestimmten Wert hat, sind an zwei oder mehr Punkten Kreise 11 bis 14, die Durchmesser aufweisen, die sich voneinander um die Größe eines Bildpunkts unterscheiden, mit ihren Mitten um diesen Bildpunkt angeordnet. Die Räume zwischen den Kreisen 11 bis 14 sind ringförmig. In dem in 19 gezeigten Fall beträgt die Gesamtanzahl L dieser ringförmigen Abschnitte vier. Die Summe der Intensitäten der visuellen Reize in jedem der ringförmigen Abschnitte sind durch die Bezugszeichen Smn0 bis Smn3 angegeben. Smn0 bis Smn3 sind Summationen von Intensitäten visueller Reize, die größer oder gleich einem vorbestimmten Wert sind, wobei die visuellen Reihe in den Bildpunkten enthalten sind und sich in dem ringförmigen Abschnitt befinden. D. h. wie in der nachstehenden Gleichung (1) gezeigt ist, wird jeder der ringförmigen Abschnitte Smn0 bis Smn3 berechnet. Zu beachten ist, dass in Gleichung (1) Cxy die Intensität des visuellen Reizes eines Bildpunkts mit den Koordinaten (x, y) ist.
  • Gleichung (1)
    Figure DE102017112806A1_0003
  • Eine Summation DmnL der Intensitäten der visuellen Reize in jedem der ringförmigen Abschnitte, die als Smn0 bis Smn3, berechnet wurden, wird berechnet, während addierte Werte durch einen Parameter v (1 > v > 0) geregelt werden. Konkret ist die Summation der Intensitäten der visuellen Reize in einem äußeren ringförmigen Abschnitt ein Wert, der bezüglich der Summation der Intensitäten der visuellen Reihe in einem inneren ringförmigen Abschnitt durch den Parameter v gedämpft (verringert) ist. D. h. beruhend auf der folgenden Gleichung (2) wird DmnK+1 als erste Summe berechnet. Zu beachten ist, dass die vorherige Summe DmnK ist und dass eine Summation des ringförmigen Abschnitts, der zuerst addiert wird, SmnK ist, wobei k ein Suffix ist.
  • Gleichung (2)
    Figure DE102017112806A1_0004
  • Wie in Gleichung (3) gezeigt ist, ist nach Verwenden von Gleichung (2) zum Berechnen der addierten Werte aller ringförmigen Abschnitte die Summation DmnL gleich visuellen Skelettmerkmalen HSTmn jedes der Bildpunkte.
  • Gleichung (3)
    Figure DE102017112806A1_0005
  • Wie aus Gleichung (2) ersichtlich ist, wird die erste Summe DmnK+1 im Grunde durch Addieren des ersten addierten Werts SmnK zu der vorherigen Summe DmnK berechnet. Die vorherige Summe DmnK ist aber ein Wert, der zusammen mit einem Wert abnimmt, der sich aus Multiplizieren des ersten addierten Werts SmnK mit dem Parameter v ergibt. D. h. je höher der erste addierte Wert SmnK ist, desto kleiner wird ein Reflexionsgrad der vorherigen Summe DmnK, bei dem die erste Summe DmnK+1 berechnet wird.
  • Wenn der Parameter v ein Wert nahe null (z. B. 0,001) ist, wird der Grad, bei dem die Summation SmnK in jedem der ringförmigen Abschnitte reflektiert wird, übermäßig hoch. Dadurch wird es schwierig, zwischen visuellen Skelettmerkmalen auf einer Karte einen Unterschied festzustellen. Wenn dagegen der Parameter v ein Wert nahe eins (z. B. 0,5) ist, wird die Differenz zwischen den visuellen Skelettmerkmalen übermäßig groß. Dadurch wird es schwierig, eine Gesamtverteilung der visuellen Skelettmerkmale festzustellen. Durch Festlegen des Parameters v bei etwa 0,01 werden zum Vergleich die visuellen Skelettmerkmale bei einer mäßigen Differenzierung auf der Karte verteilt und es können Eigenschaften, wie die z. B. in 8 gezeigten, erhalten werden. Wie aus der vorstehenden Beschreibung ersichtlich ist, wird der Parameter v gemäß einem Analyseobjekt geeignet festgelegt (gewählt).
  • Vorteile des vorstehend beschriebenen Verfahrens zum Berechnen der visuellen Skelettmerkmale, die in jedem der Bildpunkte enthalten sind, werden anhand von 17 und 18 erläutert. 17 und 18 zeigen eine Kontur K21, die beruhend auf salienten Merkmalen angestrebt wird. Die Kontur K21 weist ein Randrauschen N1, das die Form einer Kerbe hat, und ein geringes internes Rauschen N2, das die Form eines Kreises hat, auf. Wird ein topologisches Skelett in der anhand von 1 beschriebenen Weise durch Verbinden von Mitten von Kreisen, die die Kontur K21 an zwei oder mehr Punkten einschreiben, erstellt, sind das Rauschen N1 und N2 in dem topologischen Skelett enthalten. Das so erhaltene topologische Skelett MA21 umfasst in einem unteren und in einem oberen Abschnitt der Kontur K21 Verzweigungen. Dadurch kann die Kontur K21 durch das topologische Skelett MA21 nicht präzis angezeigt werden.
  • Mithilfe des in 19 gezeigten Verfahrens und der Gleichungen (1) bis (3) kann aber ein topologisches Skelett MA22, das in den unteren und oberen Abschnitten der Kontur K21 keine Verzweigungen aufweist, erhalten werden, wie in 18 gezeigt ist. Dadurch wird die Kontur K21 durch das topologische Skelett MA22 präzis angezeigt.
  • Die vorliegende Offenbarung ist nicht auf die vorstehend erläuterten Ausführungsformen beschränkt. Innerhalb des Schutzumfangs der vorliegenden Offenbarung können geeignete Änderungen und Abwandlungen vorgenommen werden. Die vorliegende Offenbarung ist nicht auf die Texturevaluation eines Armaturenbretts eines Fahrzeugs beschränkt und kann durch Erhalten von Eigenschaften, wie die in 9 gezeigten, für Texturevaluation z. B. verschiedener Oberflächen in einem Fahrzeug aus verschiedenen Perspektiven gesehen genutzt werden. Wenn zudem zum Beispiel eine Person eine fahrerseitige Tür eines Fahrzeugs öffnet, um in das Fahrzeug zu gelangen, befinden sich ein Fahrersitz, ein Ende des Armaturenbretts an der Fahrerseite, eine Mittelkonsole und ein innerer Abschnitt einer beifahrerseitigen Tür in dem Gesichtsfeld der Person. Wenn der innere Abschnitt der beifahrerseitigen Tür eine kleine Menge visueller Skelettmerkmale aufweist, während der Fahrersitz eine große Menge visueller Skelettmerkmale aufweist, werden die Augen der Person wahrscheinlich zur Fahrerseite gelenkt. Ein solches Design lädt die Person nicht ein, weiter in das Auto vorzudringen. Mit einem Mangel an visuellen Reizen tief im Fahrzeug weist dieses Design einen Fahrerfokus auf und ist für einen Sportwagen vorteilhaft. Wenn dagegen der innere Abschnitt der beifahrerseitigen Tür eine große Menge visueller Skelettmerkmale aufweist, während der Fahrersitz eine kleine Menge visueller Skelettmerkmale aufweist, werden die Augen der Person wahrscheinlich zum inneren Abschnitt der beifahrerseitigen Tür gelenkt. Ein solches Design lädt die Person ein, weiter in das Auto vorzudringen. Dieses Design, das reich an visuellen Reizen tief im Fahrzeug ist, ist für einen Familienwagen vorteilhaft. Natürlich ist die vorliegende Offenbarung nicht auf das Evaluieren des Innenraums von Fahrzeugen beschränkt und kann auch beim Gestalten der Außenoptik eines Fahrzeugs genutzt werden.
  • Die vorliegende Offenbarung ist nicht auf Fahrzeuge beschränkt. Sie kann in ähnlicher Weise genutzt werden, wenn es um Möbel in Läden oder anderen Innenräumen geht. Das Evaluationssystem gemäß der vorliegenden Offenbarung kann zum Beispiel beim Gestalten eines Ladens verwendet werden, um einen ins Auge springenden Eingang zu kreieren, der die Aufmerksamkeit von Passanten auf sich zieht. Eine Wandfläche nahe dem Eingang kann ferner eigens ausgelegt werden, um die Augen von Kunden, die den Laden betreten haben, hin zu Sitzen zu lenken, zu denen die Kunden geführt werden sollen. Zum Beispiel kann an der Wandfläche eine Anzeige eingebaut sein und die Richtung, in die die Kunden gelenkt werden, kann durch Anpassen des angezeigten Inhalts geeignet geändert werden. Zudem kann die vorliegende Offenbarung z. B. beim Gestalten eines Bads verwendet werden, um zu testen, in welche Richtung (hin zu welcher Position) die Augen einer im Eingang des Bads und in dieses hinein blickenden Person gelenkt werden, und um das Design des Bads zu entwickeln (oder zu ändern), um die Augen der Person in eine gewünschte Richtung zu lenken. Während das Vorstehende nur Beispiele sind, kann das Evaluationssystem gemäß der vorliegenden Offenbarung verwendet werden, um verschiedene Arten von Design präzis zu entwickeln und zu ändern. Weiterhin sind die Eigenschaften der visuellen Skelettmerkmale, die schließlich ausgegeben werden, nicht auf die Spitzenposition und die Hauptkomponente beschränkt. Abhängig von z. B. der Art von Evaluationsziel kann eine davon ausgegeben werden. Natürlich ist die vorliegende Offenbarung nicht darauf beschränkt, was in dieser Beschreibung spezifiziert wurde (nämlich die Evaluation von Zielen). Die vorliegende Offenbarung umfasst auch implizit das Beitragen dazu, solchen Zielen ein im Wesentlichen günstiges oder vorteilhaftes Design zu verleihen.
  • Die vorliegende Offenbarung ermöglicht das Durchführen einer objektiven Evaluation der visuellen Wahrnehmung von Objekten. Eine solche Evaluation kann genutzt werden, um den Grad visueller Wahrnehmung zu verbessern, und ist für ein präzises Entwickeln und Ändern des Designs einer großen Palette von Objekten vorteilhaft.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2016-117656 [0001]
    • JP 2006-254107 [0003]
    • JP 2005-260725 [0003]

Claims (9)

  1. Texturevaluationssystem, umfassend: einen Bildgeber, welcher ein Farbbild durch Aufnehmen eines Bilds eines Objekts, das als Evaluationsziel dient, erhält; einen Extraktor für visuelle Merkmalsbereiche, welcher innerhalb des durch den Bildgeber erhaltenen Bilds einen visuellen Merkmalsbereich, der wahrscheinlich einer Person ins Auge springt, wenn die Person einen Blick auf das Objekt wirft, und eine Intensität eines visuellen Reizes eines Bildpunkts des visuellen Merkmalsbereichs extrahiert; einen Ermittler visueller Skelettmerkmale, welcher visuelle Skelettmerkmale des Bildpunkts des Bilds bezüglich einer Konturregion ermittelt, die aus mehreren visuellen Merkmalsbereichen besteht, die von dem Extraktor für visuelle Merkmalspunkte extrahiert werden; und ein Display, das die visuellen Skelettmerkmale anzeigt, die von dem Ermittler visueller Skelettmerkmale ermittelt werden.
  2. System nach Anspruch 1, wobei Arten der visuellen Merkmalsbereiche mindestens Intensität, Chrominanz und Ausrichtung umfassen.
  3. System nach Anspruch 2, wobei der Extraktor für visuelle Merkmalsbereiche das Bild in mehrere Bilder für jede der Arten der visuellen Merkmalsbereiche zerlegt, visuelle Merkmalsbereiche aus jedem der Bilder extrahiert und die aus jedem der Bilder extrahierten visuellen Merkmalsbereiche zu einem einzigen Bild integriert.
  4. System nach einem der Ansprüche 1 bis 3, wobei der Ermittler visueller Skelettmerkmale pro Bildpunkt des Bilds mehrere ringförmige Abschnitte festlegt, die durch mehrere Kreise, die unterschiedliche Durchmesser aufweisen und um jeden der Bildpunkte zentriert sind, definiert sind, eine Intensität eines visuellen Reizes in jedem der ringförmigen Abschnitte durch Berechnen einer Intensität eines visuellen Reizes jedes der in jedem der ringförmigen Abschnitte enthaltenen Bildpunkte ermittelt und visuelle Skelettmerkmale für jeden der Bildpunkte beruhend auf der Intensität des visuellen Reizes in jedem der ringförmigen Abschnitte ermittelt.
  5. System nach Anspruch 4, wobei der Ermittler visueller Skelettmerkmale schließlich die visuellen Skelettmerkmale jedes der Bildpunkte durch ein allmähliches Addieren der Intensität des visuellen Reizes innerhalb eines ringförmigen Abschnitts zu der Intensität des visuellen Reizes in einem äußeren ringförmigen Abschnitt ermittelt und bei der allmählichen Addition eine erste Summe als ”DmnK+1”, eine vorherige Summe als ”DmnK,” eine zuerst addierte Intensität eines visuellen Reizes in einem ringförmigen Abschnitt als ”SmnK” und ein Parameter als ”v” (1 > v > 0) definiert ist und dann die erste Summe ” DmnK+1” beruhend auf Gleichung (2) berechnet wird, wobei ”mn” Koordinaten einer Mitte des ringförmigen Abschnitts sind und ”K” ein Suffix ist. Gleichung (2)
    Figure DE102017112806A1_0006
  6. System nach einem der Ansprüche 1 bis 5, wobei der Ermittler visueller Skelettmerkmale eine Spitzenposition der visuellen Skelettmerkmale ermittelt
  7. System nach einem der Ansprüche 1 bis 5, wobei der Ermittler visueller Skelettmerkmale eine Hauptkomponente der visuellen Skelettmerkmale ermittelt
  8. System nach einem der Ansprüche 1 bis 5, wobei der Ermittler visueller Skelettmerkmale sowohl eine Spitzenposition als auch eine Hauptkomponente der visuellen Skelettmerkmale ermittelt.
  9. System nach Anspruch 8, wobei das als Evaluationsziel dienende Objekt eine Innenraumkomponente eines Fahrzeugs ist.
DE102017112806.9A 2016-06-14 2017-06-09 Texturevaluationssystem Withdrawn DE102017112806A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016117656A JP6810996B2 (ja) 2016-06-14 2016-06-14 質感評価システム
JP2016-117656 2016-06-14

Publications (1)

Publication Number Publication Date
DE102017112806A1 true DE102017112806A1 (de) 2017-12-14

Family

ID=60419940

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017112806.9A Withdrawn DE102017112806A1 (de) 2016-06-14 2017-06-09 Texturevaluationssystem

Country Status (4)

Country Link
US (1) US10535150B2 (de)
JP (1) JP6810996B2 (de)
CN (1) CN107507238B (de)
DE (1) DE102017112806A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7168953B2 (ja) * 2018-06-12 2022-11-10 国立大学法人神戸大学 自動キャリブレーションを行う視線計測装置、視線計測方法および視線計測プログラム
US11393166B2 (en) * 2020-04-22 2022-07-19 Adobe Inc. Generating representations to approximate digital shapes using sample circles

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260725A (ja) 2004-03-12 2005-09-22 Canon Inc 画像評価装置および画像評価機能を有する画像形成装置
JP2006254107A (ja) 2005-03-10 2006-09-21 Olympus Imaging Corp 画像評価装置、画像評価プログラム、画像評価プログラムを記録する記録媒体、画像評価方法
JP2016117656A (ja) 2014-12-19 2016-06-30 二村 芳弘 抗ウイルス作用を呈するエラグ酸誘導体及びその製造方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04238116A (ja) * 1991-01-22 1992-08-26 Sony Corp 磁気ディスク
JP4068596B2 (ja) * 2003-06-27 2008-03-26 株式会社東芝 図形処理方法、図形処理装置およびコンピュータ読取り可能な図形処理プログラム
US7580556B2 (en) * 2004-01-26 2009-08-25 Drvision Technologies Llc Image region partitioning using pre-labeled regions
US20070201749A1 (en) * 2005-02-07 2007-08-30 Masaki Yamauchi Image Processing Device And Image Processing Method
WO2008007471A1 (fr) * 2006-07-10 2008-01-17 Kyoto University Procédé de suivi d'un marcheur et dispositif de suivi d'un marcheur
WO2013088772A1 (ja) * 2011-12-16 2013-06-20 独立行政法人科学技術振興機構 特徴量抽出方法、被写体分類方法、被写体判別方法、特徴量抽出装置、被写体分類装置、被写体判別装置、特徴量抽出・被写体分類及び被写体判別プログラム及び該プログラムを記録した記録媒体
CN102722888A (zh) * 2012-05-22 2012-10-10 天津大学 基于生理与心理立体视觉的立体图像客观质量评价方法
WO2013192355A1 (en) * 2012-06-19 2013-12-27 Health Discovery Corporation Computer-assisted karyotyping
JP2014167673A (ja) * 2013-02-28 2014-09-11 Dainippon Printing Co Ltd 顕著性分析装置
WO2015189343A1 (en) * 2014-06-12 2015-12-17 Thomson Licensing Methods and systems for color processing of digital images
CA3067177A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
CN106683072B (zh) * 2015-11-09 2020-02-21 上海交通大学 一种基于pup图的3d图像舒适度质量评价方法及系统
US10599926B2 (en) * 2015-12-16 2020-03-24 Regents Of The University Of Minnesota Automated detection of nitrogen deficiency in crop
CN105631932B (zh) * 2015-12-22 2018-06-12 北京航空航天大学 一种轮廓线指导的三维模型重构造方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005260725A (ja) 2004-03-12 2005-09-22 Canon Inc 画像評価装置および画像評価機能を有する画像形成装置
JP2006254107A (ja) 2005-03-10 2006-09-21 Olympus Imaging Corp 画像評価装置、画像評価プログラム、画像評価プログラムを記録する記録媒体、画像評価方法
JP2016117656A (ja) 2014-12-19 2016-06-30 二村 芳弘 抗ウイルス作用を呈するエラグ酸誘導体及びその製造方法

Also Published As

Publication number Publication date
JP6810996B2 (ja) 2021-01-13
JP2017224068A (ja) 2017-12-21
CN107507238B (zh) 2020-09-25
US10535150B2 (en) 2020-01-14
CN107507238A (zh) 2017-12-22
US20170358097A1 (en) 2017-12-14

Similar Documents

Publication Publication Date Title
DE10081029B4 (de) Bildbearbeitung zur Vorbereitung einer Texturnalyse
DE10043460C2 (de) Auffinden von Körperpartien durch Auswerten von Kantenrichtungsinformation
DE102020100080A1 (de) Adaptive transparenz eines virtuellen fahrzeugs in einem simulierten bildgebungssystem
WO2015169316A2 (de) Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
WO2005091245A1 (de) Verfahren und warnvorrichtung zum grafischen aufbereiten eines bildes einer kamera
EP3308361B1 (de) Verfahren zur erzeugung eines virtuellen bildes einer fahrzeugumgebung
EP2559236A1 (de) Verfahren zum anzeigen eines bildes auf einer anzeigeeinrichtung in einem fahrzeug, fahrerassistenzsystem und fahrzeug
DE102013212495A1 (de) Verfahren und Vorrichtung zur Inspektion einer konturierten Fläche,insbesondere des Unterbodens eines Kraftfahrzeugs
EP3289398B1 (de) Verfahren zum generieren eines reflexionsreduzierten kontrastbildes und diesbezügliche vorrichtungen
DE102005024949A1 (de) Verfahren zur Darstellung von Strukturen innerhalb von Volumendatensätzen
DE102017112806A1 (de) Texturevaluationssystem
DE102017106152A1 (de) Ermitteln einer Winkelstellung eines Anhängers mit optimierter Vorlage
DE102020127278B4 (de) Around-View-Synthese-System und -Verfahren
DE3913620A1 (de) Verfahren zur bildauswertung
EP3073446B1 (de) Verfahren zum darstellen einer fahrzeugumgebung eines fahrzeuges
WO2019072466A1 (de) Verfahren zur darstellung von bildern eines kamerasystems eines fahrzeugs
DE102018201631A1 (de) Verfahren und system zum erzeugen einer virtuellen darstellung zur erweiterung des sichtfelds in einem fahrzeug
EP3089105A1 (de) Verfahren zum generieren eines kontrastbildes einer objektbeschaffenheit und diesbezügliche vorrichtungen
EP3571091B1 (de) Verfahren und vorrichtung zum darstellen einer umgebung eines fahrzeuges
DE102011005368A1 (de) Fahrerassistenzsystem für ein Fahrzeug mit einem angereicherten Videobild in einem Anzeigemittel
DE102005041633B4 (de) Verfahren und Vorrichtung zur Positions- und Ähnlichkeitsbestimmung von Objektpunkten in Bildern
WO2020160861A1 (de) Kalibrierung eines sensors für ein fahrzeug basierend auf objektseitigen und bildseitigen identifikationsindizes eines referenzobjektes
DE102005002636A1 (de) Verfahren und System zur Verarbeitung von Videodaten eines Kamerasystems
DE102006039832B9 (de) Verfahren und Vorrichtung zum Auffinden und Unterscheiden von Personen, Tieren oder Fahrzeugen mittels automatischer Bildüberwachung digitaler oder digitalisierter Bilder
DE102018103861B3 (de) Verfahren zum Bestimmen eines Auswertebereichs in einem Bild einer Fahrzeugkamera mittels linienbasierter Bildverarbeitung

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009480000

Ipc: G06V0030182000

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee