DE112019004277T5

DE112019004277T5 - Codiervorrichtung, Codierverfahren, Decodiervorrichtung, Decodierverfahren, und Programm

Info

Publication number: DE112019004277T5
Application number: DE112019004277.7T
Authority: DE
Inventors: Jun Matsumoto; Shiro Suzuki; Shuichiro Nishigori; Hirofumi Takeda
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2018-08-28
Filing date: 2019-07-22
Publication date: 2021-06-02
Also published as: US20220158655A1; US11967976B2; WO2020044857A1

Abstract

Eine Aufgabe der vorliegenden Erfindung besteht darin,die Datenmenge zu verringern, die sich auf ein zweidimensionales taktiles Empfindungssignal bezieht, während eine taktile Empfindungsreproduzierbarkeit sichergestellt wird, wodurch größere Effizienz in einem System hinsichtlich taktiler Empfindungsreproduktion erreicht wird. Codieren wird durchgeführt, was Kompression des Informationsvolumens durch Durchführen einer orthogonalen Transformation für das zweidimensionale taktile Empfindungssignal basierend auf einem Zeitsignal involviert. Als Ergebnis des Durchführens der orthogonalen Transformation für das zweidimensionale taktile Empfindungssignal basierend auf dem Zeitsignal ist es möglich, Informationsvolumenkompression durch das Entfernen einer Frequenzkomponente, die für Menschen kaum wahrnehmbar ist, wie es beispielsweise etwa für Bildsignale durchgeführt wird, zu erreichen. Infolgedessen ist es möglich, die Datenmenge zu verringern, die sich auf das zweidimensionale taktile Empfindungssignal bezieht, während eine taktile Empfindungsreproduzierbarkeit sichergestellt wird, und größere Effizienz in einem System hinsichtlich taktiler Empfindungsreproduktion kann erreicht werden.

Description

TECHNISCHES GEBIET
Die vorliegende Technologie betrifft eine Codiervorrichtung und ihr Verfahren zum Codieren eines zweidimensionalen taktilen Signals, eine Decodiervorrichtung und ihr Verfahren zum Decodieren codierter Daten des zweidimensionalen taktilen Signals, und ein Programm.
HINTERGRUND DES STANDES DER TECHNIK
In den letzten Jahren wurden in verschiedenen Situationen Anwendungen verwendet, die durch eine taktile Darstellungsvorrichtung in Kontakt mit der menschlichen Haut taktile Stimuli geben. Hier bedeutet „taktile Darstellung“, einen taktilen Stimulus zu erzeugen.
Beispielsweise wird in einem mobilen Endgerät, das mit einem Touchpanel ausgestattet ist, wie etwa einem Smartphone, das Berührungsgefühl einer Taste simuliert, indem ein Panel (oder Gehäuse) vibriert, wenn das Panel berührt wird, um dem Finger einen taktilen Stimulus zu geben.
Beim Musikhören ist eine taktile Darstellungsvorrichtung in ein Kopfhörergehäuse eingebaut, und parallel zur Musikwiedergabe werden taktile Stimuli gegeben, um den tiefen Bass hervorzuheben.
In den Bereichen von Computerspielen und virtueller Realität (VR) kann das immersive Gefühl des Benutzers verbessert werden, indem durch eine in einem Controller installierte taktile Darstellungsvorrichtung entsprechend der Bedienung des Benutzers interaktiv taktile Stimuli gegeben werden, die mit der Szene übereinstimmen.
In einigen Vergnügungseinrichtungen wird das realistische Gefühl der Besucher verbessert, indem durch eine taktile Darstellungsvorrichtung, die in einem Sitz installiert ist, taktile Stimuli gegeben werden, die der Situation in einem Kino, einem Themenpark, oder dergleichen, entsprechen.
Außerdem wird in der Forschungs- und Entwicklungsphase, wenn ein Roboter oder dergleichen ferngesteuert wird, eine von dem Roboter oder einem zu bedienenden Objekt empfangene Vibration an einen Controller an der Hand des Bedieners zurückgeführt, so dass der Roboter oder dergleichen intuitiv die Situation um den Roboter oder das Objekt herum wahrnehmen kann und die Informationen für eine Gefahrenvorhersage verwenden kann (z. B. Katastrophenreaktionsroboter)
<http://www.rm.is.tohoku.ac.jp/quince_mech/#_8>)
Darüber hinaus wird im medizinischen Bereich dahingehend geforscht, eine chirurgische Genauigkeit zu verbessern, indem dem Bediener das Gefühl (Härte) zurückgegeben wird, wenn eine Zange eines Endoskops ein Organ berührt, während ein chirurgischer Roboter bedient wird (z. B. der chirurgische Unterstützungsroboter Da Vinci)
<http://techon.nikkeibp.co.jp/article/FEATURE/20150217/40 44 60/?P=2>)
Andererseits werden in taktilen Darstellungsvorrichtungen häufig Exzentermotoren (ERM), Linearantriebe (LRA) und dergleichen verwendet, und die meisten gelten als Vorrichtungen mit Resonanzfrequenzen bei Frequenzen mit hoher taktiler Empfindlichkeit des Menschen (etwa mehrere hundert Hz) (siehe beispielsweise unten Patentdokument 1).
Außerdem wird beispielsweise versucht, das realistische Gefühl weiter zu verbessern, indem mehrere taktile Darstellungsvorrichtungen präpariert und am gesamten Körper angebracht werden, um taktile Stimuli zu geben. (z. B., Synästhesieanzug
<http://rezinfinite.com/ja/synesthesia-suit/>)
ZITATIONSLISTE
PATENTDOKUMENT
Patent Dokument 1: Japanische Patenanmeldung Offenlegungsnummer 2016-202486
KURZDARSTELLUNG DER ERFINDUNG
PROBLEME, DIE DURCH DIE ERFINDUNG GELÖST WERDEN SOLLEN
Hier wurde als taktile Darstellungsvorrichtung eine Vorrichtung entwickelt, bei der mehrere taktile Darstellungselemente, wie etwa ein Vibrationsstift und eine Mikropumpe, in einer zweidimensionalen Ebene angeordnet sind (im Folgenden als „zweidimensionale taktile Darstellungsvorrichtung“ bezeichnet). Durch die Verwendung einer solchen zweidimensionalen taktilen Darstellungsvorrichtung ist es möglich, extrem unterschiedliche und komplexe taktile Stimuli darzustellen.
Bei einer zweidimensionalen taktilen Darstellungsvorrichtung ist es effektiv, die Anzahl der taktilen Darstellungselemente zu erhöhen, die angeordnet sind, um die Darstellung eines vielfältigeren taktilen Stimulus zu ermöglichen. Jedoch wird durch Erhöhung der Anzahl taktiler Darstellungselemente die Anzahl taktiler Signalkanäle erhöht, was zu einer Erhöhung der Datenmenge führt. Wenn die Menge an taktilen Signaldaten zunimmt, kann sich die mit der taktilen Reproduktion verbundene Verarbeitungslast erhöhen, und es kann beispielsweise eine Übertragungsverzögerung auftreten, was nicht wünschenswert ist.
Die vorliegende Technologie wurde unter Berücksichtigung der obigen Umstände entwickelt, und zielt darauf ab, die Effizienz eines Systems in Bezug auf die taktile Reproduktion zu verbessern, indem die Datenmenge verringert wird, während die taktile Reproduzierbarkeit eines zweidimensionalen taktilen Signals sichergestellt ist.
LÖSUNGEN DER PROBLEME
Eine Codiervorrichtung gemäß der vorliegenden Technologie weist eine Codiereinheit auf, die eine Codierung durchführt, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren.
Durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal ist es möglich, die Informationsmenge zu komprimieren, indem Frequenzkomponenten entfernt werden, die für den Menschen schwer wahrzunehmen sind, wie beispielsweise in dem Fall eines Bildsignals.
Außerdem ist das Codierverfahren gemäß der vorliegenden Technologie ein Codierverfahren zum Durchführen einer Codierung, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren.
Auch mit einem solchen Codierverfahren kann ein Effekt erhalten werden, der dem der obigen Codiervorrichtung gemäß der vorliegenden Technologie ähnlich ist.
Darüber hinaus ist das codierungsseitige Programm gemäß der vorliegenden Technologie ein Programm, das bewirkt, dass eine Informationsverarbeitungsvorrichtung eine Funktion zum Durchführen einer Codierung, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren, erreicht.
Die Codiervorrichtung gemäß der oben beschriebenen vorliegenden Technologie wird durch ein solches Programm implementiert.
Außerdem weist die Decodiervorrichtung gemäß der vorliegenden Technologie eine Decodiereinheit auf, die codierte Daten decodiert, die durch Durchführen einer Codierung, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren, erhalten wurden.
Durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal ist es möglich, die Informationsmenge zu komprimieren, indem Frequenzkomponenten entfernt werden, die für den Menschen schwer wahrzunehmen sind, wie beispielsweise in dem Fall eines Bildsignals.
In der Decodiervorrichtung gemäß der oben beschriebenen vorliegenden Technologie ist es wünschenswert, dass die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge durch Extrahieren einer Niederfrequenzkomponente komprimiert wurde.
Bei einer orthogonalen Umwandlung, wie etwa einer diskreten Cosinustransformation (DCT), wird die Energie eines Zeitsignals effizient auf die Niederfrequenzseite eines Spektrums konzentriert. Daher ist es, selbst wenn die Niederfrequenzkomponente extrahiert und die anderen Komponenten entfernt werden, unwahrscheinlich, dass der Empfänger eine Unnatürlichkeit spürt.
In der Decodiervorrichtung gemäß der oben beschriebenen vorliegenden Technologie ist es wünschenswert, dass die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge basierend auf der menschlichen taktilen Eigenschaft komprimiert wurde.
Dies ermöglicht es, die Informationsmenge zu komprimieren, indem Frequenzkomponenten mit geringer taktiler Empfindlichkeit des Menschen entfernt werden.
In der Decodiervorrichtung gemäß der oben beschriebenen vorliegenden Technologie ist es wünschenswert, dass die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge durch Extrahieren einer Frequenzkomponente komprimiert wurde, deren absoluter Wert eines orthogonalen Transformationskoeffizienten gleich oder größer als ein Schwellenwert ist.
Dies ermöglicht es, Frequenzkomponenten zu extrahieren, von denen angenommen wird, dass sie von Menschen leicht wahrgenommen werden, in Bezug auf die Größe des orthogonalen Transformationskoeffizienten (Spektrum), und andere Komponenten zu entfernen.
In der Decodiervorrichtung gemäß der oben beschriebenen vorliegenden Technologie ist es wünschenswert, dass der Schwellenwert ein Schwellenwert ist, der basierend auf der menschlichen taktilen Eigenschaft bestimmt wird.
Infolgedessen ist es möglich, Frequenzkomponenten mit geringer taktiler Empfindlichkeit des Menschen zu entfernen, selbst wenn der orthogonale Transformationskoeffizient groß ist.
In der Decodiervorrichtung gemäß der oben beschriebenen vorliegenden Technologie ist es wünschenswert, dass die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge basierend auf der taktilen Eigenschaft jedes Rezeptors komprimiert wurde.
Dies ermöglicht es, hochempfindliche Frequenzkomponenten für jeden Rezeptor zu extrahieren und andere Komponenten zu entfernen.
In der Decodiervorrichtung gemäß der oben beschriebenen vorliegenden Technologie ist es wünschenswert, dass die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge durch Extrahieren eines repräsentativen Wertes eines orthogonalen Transformationskoeffizienten in der Nähe einer Spitzenfrequenz einer Empfindlichkeit des Rezeptors komprimiert wurde.
Der obige repräsentative Wert bedeutet einen typischen Wert des orthogonalen Transformationskoeffizienten in der Nähe der Spitzenfrequenz, wie etwa einen gewichteten Durchschnittswert, einen Medianwert, und einen Maximalwert des orthogonalen Transformationskoeffizienten in der Nähe der Spitzenfrequenz. Durch Extrahieren eines solchen repräsentativen Wertes ist es möglich, eine Frequenzkomponente mit hoher Empfindlichkeit des Rezeptors geeignet zu extrahieren.
In der Decodiervorrichtung gemäß der oben beschriebenen vorliegenden Technologie ist es wünschenswert, dass die Decodiereinheit die codierten Daten decodiert, in denen ein Frequenzindex, der der Spitzenfrequenz der Empfindlichkeit des Rezeptors entspricht, als ein Frequenzindex des repräsentativen Wertes zugeordnet ist.
Dies ermöglicht es, eine taktile Empfindung entsprechend der Spitzenfrequenz der Empfindlichkeit des Rezeptors effizient darzustellen.
In der Decodiervorrichtung gemäß der oben beschriebenen vorliegenden Technologie ist es wünschenswert, dass die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge basierend auf einer Vorrichtungseigenschaft komprimiert wurde, die eine Frequenzeigenschaft einer taktilen Darstellungsvorrichtung ist.
Infolgedessen ist es für die taktile Darstellungsvorrichtung möglich, Frequenzkomponenten zu extrahieren, die geeignet sind, taktile Empfindungen effizient darzustellen, und andere Komponenten zu entfernen.
In der Decodiervorrichtung gemäß der oben beschriebenen vorliegenden Technologie ist es wünschenswert, dass die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge basierend auf der Vorrichtungseigenschaft mehrerer taktiler Darstellungsvorrichtungen komprimiert wurde.
Infolgedessen ist es, in einem Fall einer Darstellung einer taktilen Empfindung unter Verwendung einer anderen taktilen Darstellungsvorrichtung für jeden Rezeptor, oder unter Verwendung einer anderen taktilen Darstellungsvorrichtung für jede von einer statischen taktilen Empfindung und einer dynamischen taktilen Empfindung, für jede taktile Darstellungsvorrichtung möglich, Frequenzkomponenten, die eine taktile Empfindung effizient darstellen können, zu extrahieren, und andere Komponenten zu entfernen.
In der Decodiervorrichtung gemäß der oben beschriebenen vorliegenden Technologie ist es wünschenswert, dass die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge durch Extrahieren eines repräsentativen Wertes eines orthogonalen Transformationskoeffizienten in der Nähe einer Spitzenfrequenz der Vorrichtungseigenschaft komprimiert wurde.
Dies ermöglicht es für die taktile Darstellungsvorrichtung, Frequenzkomponenten, die dazu geeignet sind, taktile Empfindungen effizient darzustellen, geeignet zu extrahieren.
In der Decodiervorrichtung gemäß der oben beschriebenen vorliegenden Technologie ist es wünschenswert, dass die Decodiereinheit die codierten Daten decodiert, in denen ein Frequenzindex, der der Spitzenfrequenz der Vorrichtungseigenschaft entspricht, als ein Frequenzindex des repräsentativen Wertes zugeordnet ist.
Dies ermöglicht es, eine taktile Empfindung entsprechend der Spitzenfrequenz der Vorrichtungseigenschaften effizient darzustellen.
Es ist wünschenswert, dass die Decodiervorrichtung gemäß der oben beschriebenen vorliegenden Technologie ferner eine Informationsübertragungseinheit aufweist, die Informationen zum Identifizieren der Vorrichtungseigenschaft an eine externe Vorrichtung überträgt.
Infolgedessen ist es möglich, die Codiervorrichtung über Informationen zum Identifizieren der Vorrichtungseigenschaften der taktilen Darstellungsvorrichtung zu informieren.
In der Decodiervorrichtung gemäß der oben beschriebenen vorliegenden Technologie ist es wünschenswert, dass die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge durch Extrahieren eines repräsentativen Wertes eines orthogonalen Transformationskoeffizienten aus einem Frequenzband, das einer statischen taktilen Empfindung entspricht, und einem Frequenzband, das einer dynamischen taktilen Empfindung entspricht, komprimiert wurde.
Infolgedessen ist es in einem Fall des Reproduzierens sowohl der statischen taktilen Empfindung als auch der dynamischen taktilen Empfindung möglich, die Informationsmenge geeignet zu komprimieren.
In der Decodiervorrichtung gemäß der oben beschriebenen vorliegenden Technologie ist es wünschenswert, dass die Decodiereinheit die codierten Daten decodiert, in denen eine Frequenz, die den repräsentativen Wert aufweist, der aus dem Frequenzband extrahiert wird, das der statischen taktilen Empfindung entspricht, niedriger eingestellt ist als eine Frequenz, die den repräsentativen Wert aufweist, der aus dem Frequenzband extrahiert wird, das der dynamischen taktilen Empfindung entspricht.
Da die statische taktile Empfindung durch einen niederfrequenten taktilen Stimulus gegeben wird, ist es unwahrscheinlich, dass die Reproduzierbarkeit der taktilen Empfindung abnimmt, selbst wenn die statische taktile Empfindung weniger häufig in den codierten Daten enthalten ist.
Außerdem ist das Decodierverfahren gemäß der vorliegenden Technologie ein Decodierverfahren zum Decodieren von codierten Daten, die durch Durchführen einer Codierung, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren, erhalten wurden.
Auch mit einem solchen Decodierverfahren kann ein Effekt ähnlich zu dem der obigen Decodiervorrichtung gemäß der vorliegenden Technologie erhalten werden.
Darüber hinaus ist das decodierungsseitige Programm gemäß der vorliegenden Technologie ein Programm, das bewirkt, dass eine Informationsverarbeitungsvorrichtung eine Funktion zum Decodieren codierter Daten erreicht, die durch Durchführung einer Codierung, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren, erhalten wurden.
Die Decodiervorrichtung gemäß der oben beschriebenen vorliegenden Technologie wird durch ein solches Programm implementiert.
TECHNISCHE EFFEKTE DER ERFINDUNG
Gemäß der vorliegenden Technologie ist es möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit eines zweidimensionalen taktilen Signals sichergestellt ist, und die Effizienz eines Systems in Bezug auf die taktile Reproduktion zu verbessern.
Beachte, dass der hier beschriebene Effekt nicht notwendigerweise beschränkt ist, und der Effekt irgendeiner von denen, die in der vorliegenden Offenbarung beschrieben werden, sein kann.
Figurenliste

1 ist ein Diagramm, das ein Konfigurationsbeispiel eines taktilen Reproduktionssystems zeigt, das eine Codiervorrichtung und eine Decodiervorrichtung aufweist, als eine Ausführungsform.
2 ist ein Bilddiagramm einer zweidimensionalen Vibration.
3 ist ein Diagramm zur Beschreibung eines Beispiels der internen Konfiguration der Codiervorrichtung, nach einer ersten Ausführungsform.
4 ist ein Diagramm zur Beschreibung eines Beispiels der internen Konfiguration der Decodiervorrichtung, nach der ersten Ausführungsform.
5 ist ein erklärendes Diagramm einer Vibrations-Detektionsschwellen-Kurve.
6 ist ein Diagramm, das ein Beispiel einer Verteilung eines neuronalen Feuerns für jeden Rezeptor zeigt.
7 ist ein erklärendes Diagramm einer Vibrations-Detektionsschwellen-Kurve für jeden Rezeptor.
8 ist ein erklärendes Diagramm eines zweidimensionalen Spektrums, das durch orthogonales Transformieren erhalten wird.
9 ist ein erklärendes Diagramm eines Codierverfahren, als ein erstes Beispiel.
10 ist ein Blockdiagramm, das ein Beispiel der internen Konfiguration einer Codiereinheit zeigt, die in der Codiervorrichtung nach der Ausführungsform enthalten ist.
11 ist ein Blockdiagramm, das ein Beispiel der internen Konfiguration einer Decodiereinheit zeigt, die in der Decodiervorrichtung enthalten ist, gemäß der Ausführungsform.
12 ist ein erklärendes Diagramm eines Codierverfahrens als ein zweites Beispiel.
13 ist ein erklärendes Diagramm eines Codierverfahrens als ein drittes Beispiel.
14 ist ein Diagramm, das ein Beispiel zeigt, in dem der Maximalwert als repräsentativer Wert extrahiert wird, in dem dritten Beispiel.
15 ist ein Diagramm, das Beispiele eines Nachbarschaftsbereichs einer Spitzenfrequenz zeigt.
16 ist ein Diagramm, das ein weiteres Beispiel eines Nachbarschaftsbereichs einer Spitzenfrequenz zeigt.
17 ist ein erklärendes Diagramm eines Codierverfahrens als ein viertes Beispiel.
18 ist ein Diagramm, das ein Konfigurationsbeispiel eines taktilen Reproduktionssystems zum Benachrichtigen einer Codiervorrichtung über Vorrichtungseigenschafts-Identifikationsinformationen zeigt.
19 ist ein erklärendes Diagramm eines Codierverfahrens als ein fünftes Beispiel.
20 ist ein Diagramm zur Beschreibung eines Beispiels der internen Konfiguration einer Decodiervorrichtung des fünften Beispiels.
21 ist ein erklärendes Diagramm bezüglich der Häufigkeit, mit der repräsentative Werte der statischen taktilen Empfindung und der dynamischen taktilen Empfindung in codierte Daten aufgenommen werden.

MODEN ZUM AUSFÜHREN DER ERFINDUNG
Nachfolgend werden Ausführungsformen gemäß der vorliegenden Technologie in der folgenden Reihenfolge unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.

<1. Übersicht über das taktile Reproduktionssystem>
<2. Konfiguration der Codiervorrichtung>
<3. Konfiguration des Decodiervorrichtung>
<4. Codier- und Decodierverfahren als Ausführungsform>
[4-1. Menschliche taktile Eigenschaft]
[4-2. Datenmenge des zweidimensionalen taktilen Signals]
[4-3. Erstes Beispiel]
[4-4. Zweites Beispiel]
[4-5. Drittes Beispiel]
[4-6. Viertes Beispiel]
[4-7. Fünftes Beispiel]
<5. Zusammenfassung der Ausführungsform und Modifikation>
<6. Vorliegende Technologie>

Hier in der vorliegenden Beschreibung ist jeder Begriff wie folgt definiert.
Taktiler Stimulus: ein physikalisches Phänomen, bei dem eine Person eine taktile Empfindung wahrnimmt, beispielsweise ein Vibrationsphänomen.
Taktile Darstellung: um einen taktilen Stimulus zu erzeugen.
Taktile Informationen: Informationen, die aus einer taktilen Empfindung wahrgenommen werden können, z. B. Vibrationsinformationen. Taktile Informationen weisen auch Informationen auf, die nur in einem bestimmten Frequenzband oder Amplitudenbereich wahrnehmbar sind, wie z. B. eine Vibration.
Taktiles Signal: ein Signal, das ein taktiles Stimulus-Muster repräsentiert, z. B. ein Signal, das eine Vibrationswellenform repräsentiert.
Empfänger: die Person, der die taktile Empfindung dargestellt wird.
Taktile Eigenschaft: eine Eigenschaft in Bezug auf menschlichen taktilen Empfindungen. Bei der taktilen Eigenschaft gibt es Unterschiede zwischen Teilen (Hand, Gesicht, Fuß, und dergleichen) und Rezeptoren.
Taktile Empfindlichkeit: Empfindlichkeit, wie stark ein taktiler Stimulus subjektiv wahrgenommen wird. Bei der taktilen Empfindlichkeit gibt es Unterschiede zwischen Rezeptoren und Teilen des menschlichen Körpers.
<Übersicht über das taktile Reproduktionssystem>
1 zeigt ein Konfigurationsbeispiel eines taktilen Reproduktionssystems 1, das eine Codiervorrichtung 2 und eine Decodiervorrichtung 3 aufweist, als eine Ausführungsform der vorliegenden Technologie.
Zunächst wird in der vorliegenden Ausführungsform eine Umgebung zum Erreichen einer taktilen Reproduktion unterteilt in: eine Aufzeichnungsumgebung, in der ein taktiles Signal, das durch Erfassen einer taktilen Zielinformation (taktiler Stimulus) erhalten wird, codiert wird, und codierte Daten Cd, die durch das Codieren erhalten werden, aufgezeichnet werden; und eine Reproduktionsumgebung, in der taktile Informationen basierend auf einem taktilen Signal reproduziert werden, das durch Decodieren der codierten Daten Cd erhalten wird.
Wie in 1 gezeigt wird, weist das taktile Reproduktionssystem 1, in der Aufzeichnungsumgebung, einen zweidimensionalen taktilen Sensor 5 und die Codiervorrichtung 2, mit der der zweidimensionale taktile Sensor 5 verbunden ist, auf, und weist, in der Reproduktionsumgebung, die Decodiervorrichtung 3, die in der Lage ist, die codierten Daten Cd zu erlangen, und eine zweidimensionale taktile Darstellungsvorrichtung 6, die mit der Decodiervorrichtung 3 verbunden ist, auf.
Der zweidimensionale taktile Sensor 5 ist ein Sensor, in dem mehrere Detektionselemente zum Erfassen taktiler Stimuli zweidimensional angeordnet sind. In dem zweidimensionalen taktilen Sensor 5 werden für jedes Detektionselement Vibrationsdetektionselemente, wie etwa ein Piezo-Pickup und ein Beschleunigungssensor, verwendet.
In diesem Beispiel wird der zweidimensionale taktile Sensor 5 in Kontakt mit einem zu erfassenden Objekt verwendet, und jedes Detektionselement gibt eine Vibration oder Bewegung als Spannungsänderung aus.
Beachte, dass als zweidimensionaler taktiler Sensor 5 auch ein Sensor verwendet werden kann, der erfasst, ohne mit einem Objekt in Kontakt zu kommen.
Die Codiervorrichtung 2 weist eine Computer, wie etwa eine Zentraleinheit (CPU) oder einen digitalen Signalprozessor (DSP), auf, empfängt eine Eingabe eines Detektionssignals (taktiles Signal) durch den zweidimensionalen taktilen Sensor 5, d. h. ein zweidimensionales taktiles Signal als ein Satz von taktilen Signalen, die für jedes Detektionselement erhalten werden, und zeichnet die codierten Daten Cd auf, die beispielsweise durch Codieren des zweidimensionalen taktilen Signals gemäß einem vorbestimmten Datenformat in einer intern bereitgestellten Speichervorrichtung erhalten werden.
Hier zeigt ein zweidimensionales taktiles Signal ein Signal an, das ein taktiles Stimulus-Muster an mehreren Positionen in einem zweidimensionalen Raum repräsentiert.
Die Decodiervorrichtung 3 weist eine Computer, wie etwa eine CPU oder einen DSP, auf, decodiert die erlangten codierten Daten Cd, und steuert die zweidimensionale taktile Darstellungsvorrichtung 6 basierend auf einem durch die Decodierung erhaltenen taktilen Signal an. Beispielsweise werden die in der Aufzeichnungsumgebung aufgezeichneten codierten Daten Cd von der Decodiervorrichtung 3 über ein bestimmtes Netzwerk, wie etwa das Internet, erlangt. Alternativ können die codierten Daten Cd auf einem portablen Aufzeichnungsmedium aufgezeichnet werden, und die Decodiervorrichtung 3 kann die codierten Daten Cd über das Aufzeichnungsmedium erlangen.
Es wird angenommen, dass die zweidimensionale taktile Darstellungsvorrichtung 6 eine Vorrichtung ist, bei der mehrere taktile Darstellungselemente als Elemente zum Erzeugen taktiler Stimuli zweidimensional angeordnet sind. Für jedes taktile Darstellungselement in der zweidimensionalen taktilen Darstellungsvorrichtung 6 wird in diesem Beispiel ein Vibrationsstift oder eine Mikropumpe verwendet. Beachte, dass der Vibrationsstift einen Stift hat, der in Längsrichtung verschoben werden kann, und einen Aktuator, der den Stift antreibt.
In diesem Beispiel ist die zweidimensionale taktile Darstellungsvorrichtung 6 an einem vorbestimmten Teil des menschlichen Körpers des Empfängers angebracht, um den in der Aufzeichnungsumgebung wahrgenommenen taktilen Stimulus zu reproduzieren.
Beachte, dass als zweidimensionale taktile Darstellungsvorrichtung 6 auch eine Vorrichtung verwendet werden kann, die taktile Empfindungen darstellt, ohne von dem Empfänger getragen zu werden.
2 ist ein Bilddiagramm einer zweidimensionalen Vibration, die durch die zweidimensionale taktile Darstellungsvorrichtung 6 erreicht wird.
Es wird angenommen, dass es unter Verwendung der zweidimensionalen taktilen Darstellungsvorrichtung 6 möglich ist, vielfältige und komplizierte taktile Empfindungen darzustellen.
Hier ist das in 1 gezeigte taktile Reproduktionssystem 1 ein System, das selbst an einen Fall anpassbar ist, in dem sich die Aufzeichnungsumgebung und die Reproduktionsumgebung entfernt befinden.
In einem Fall, in dem die Codiervorrichtung 2 und die Decodiervorrichtung 3 beispielsweise durch Kommunikation über ein Netzwerk kommunizieren können, können die von der Codiervorrichtung 2 erhaltenen codierten Daten Cd in Echtzeit an die Decodiervorrichtung 3 übertragen werden. Das heißt, die in der Aufzeichnungsumgebung erfassten taktilen Informationen können in Echtzeit reproduziert werden.
Beachte, dass, während 1 ein Beispiel zeigt, in dem die zweidimensionale taktile Darstellungsvorrichtung 6 separat von der Decodiervorrichtung 3 bereitgestellt wird, die zweidimensionale taktile Darstellungsvorrichtung 6 auch integral mit der Decodiervorrichtung 3 ausgebildet sein kann. Insbesondere kann eine taktile Darstellungsvorrichtung, wie die zweidimensionale taktile Darstellungsvorrichtung 6, in einem mobilen Endgerät, wie beispielsweise einem Smartphone, eingebaut sein.
<Konfiguration der Codiervorrichtung>
3 ist ein Diagramm zur Beschreibung eines Beispiels der internen Konfiguration der Codiervorrichtung 2. Beachte, dass 3 ein Beispiel der internen Konfiguration der Codiervorrichtung 2 zusammen mit dem in 1 gezeigten zweidimensionalen taktilen Sensor 5 zeigt.
Wie in 3 gezeigt wird, weist die Codiervorrichtung 2 einen Verstärker 21, einen A/D-Wandler 22, eine Vorverarbeitungseinheit 23, eine Codiereinheit 24, eine Steuereinheit 25, eine Speichereinheit 26, eine Kommunikationseinheit 27 und einen Bus BS auf. Die Vorverarbeitungseinheit 23, die Codiereinheit 24, die Steuereinheit 25, die Speichereinheit 26 und die Kommunikationseinheit 27 sind über den Bus BS verbunden und sind in der Lage, eine Datenkommunikation miteinander durchzuführen.
Das Detektionssignal (zweidimensionales taktiles Signal) des zweidimensionalen taktilen Sensors 5 wird in den Verstärker 21 eingegeben und auf einen geeigneten Dynamikbereich eingestellt und dann zur A/D-Wandlung (analog/digital-Wandlung) in den A/D-Wandler 22 eingegeben.
Das A/D-gewandelte zweidimensionale taktile Signal wird in die Vorverarbeitungseinheit 23 eingegeben. Die Vorverarbeitungseinheit 23 führt verschiedene digitale Signalverarbeitungen durch, wie beispielsweise eine Rauschentfernung und Kalibrierung der Sensoreigenschaften des zweidimensionalen taktilen Sensors 5.
Das zweidimensionale taktile Signal, das durch die Vorverarbeitungseinheit 23 einer Signalverarbeitung unterzogen wurde, wird in die Codiereinheit 24 eingegeben.
Die Codiereinheit 24 weist beispielsweise einen DSP auf und codiert das eingegebene zweidimensionale taktile Signal gemäß einem vorbestimmten Datenformat, um die oben beschriebenen codierten Daten Cd zu erhalten.
Beachte, dass die Codierung des taktilen Signals nach der vorliegenden Ausführungsform später beschrieben wird.
Die Steuereinheit 25 weist beispielsweise einen Mikrocomputer mit einer CPU, einem Nur-Lese-Speicher (ROM), einem Direktzugriffsspeicher (RAM) und dergleichen auf, und führt eine Gesamtsteuerung der Codiervorrichtung 2 durch, indem sie eine Verarbeitung gemäß einem in dem ROM gespeicherten Programm durchführt.
Beispielsweise führt die Steuereinheit 25 über die Kommunikationseinheit 27 eine Datenkommunikation mit einer externen Vorrichtung durch.
Die Kommunikationseinheit 27 kann eine Datenkommunikation mit einer externen Vorrichtung über ein Netzwerk, wie etwa das Internet, durchführen, und die Steuereinheit 25 kann eine Datenkommunikation mit der externen Vorrichtung durchführen, das über die Kommunikationseinheit 27 mit dem Netzwerk verbunden ist. Insbesondere können die von der Codiereinheit 24 erhaltenen codierten Daten Cd über die Kommunikationseinheit 27 an die externe Vorrichtung übertragen werden.
Die Speichereinheit 26 repräsentiert umfassend eine Speichervorrichtung, wie etwa ein Festplattenlaufwerk (HDD) oder ein Solid-State-Laufwerk (SSD), und wird zum Speichern verschiedener Daten in der Codiervorrichtung 2 verwendet. Beispielsweise speichert die Speichereinheit 26 die zur Steuerung durch die Steuereinheit 25 erforderlichen Daten. Außerdem können basierend auf der Steuerung der Steuereinheit 25 die von der Codiereinheit 24 erhaltenen codierten Daten Cd in der Speichereinheit 26 gespeichert werden.
<Konfiguration der Decodiervorrichtung>
4 ist ein Diagramm zum Beschreiben eines Beispiels der internen Konfiguration der Decodiervorrichtung 3 und zeigt die in 1 gezeigte zweidimensionale taktile Darstellungsvorrichtung 6 zusammen mit dem Beispiel der internen Konfiguration der Decodiervorrichtung 3.
Wie in 4 gezeigt wird, weist die Decodiervorrichtung 3 einen Verstärker 31, einen D/A-Wandler 32, eine Nachverarbeitungseinheit 33 und eine Decodiereinheit 34, sowie eine Steuereinheit 35, eine Kommunikationseinheit 36, ein Medienlaufwerk 37, eine Speichereinheit 38 und eine Bedieneinheit 39 auf. Die Nachverarbeitungseinheit 33, die Decodiereinheit 34, die Steuereinheit 35, die Kommunikationseinheit 36, das Medienlaufwerk 37 und die Speichereinheit 38 sind über den Bus BS verbunden und sind in der Lage, eine Datenkommunikation miteinander durchzuführen.
Die Steuereinheit 35 weist beispielsweise einen Mikrocomputer mit einer CPU, einem ROM, einem RAM und dergleichen auf und führt eine Gesamtsteuerung der Decodiervorrichtung 3 durch, indem sie eine Verarbeitung gemäß einem in dem ROM gespeicherten Programm durchführt.
Die Kommunikationseinheit 36 kann über ein Netzwerk, wie etwa dem Internet, eine Datenkommunikation mit einer externen Vorrichtung durchführen. Die Steuereinheit 35 kann eine Datenkommunikation mit einer externen Vorrichtung durchführen, das über die Kommunikationseinheit 36 mit dem Netzwerk verbunden ist. Insbesondere kann die Kommunikationseinheit 36 die codierten Daten Cd von einer externen Vorrichtung, wie etwa der Codiervorrichtung 2 oder einer Servervorrichtung, in dem Netzwerk empfangen.
Das Medienlaufwerk 37 erlaubt, dass ein portables Aufzeichnungsmedium daran angeschlossen und davon separiert wird, und ist als Lese-/Schreibeinheit ausgebildet, die das Schreiben und Lesen von Daten auf ein angeschlossenes Aufzeichnungsmedium ermöglicht. Beispiele eines Aufzeichnungsmediums, das von dem Medienlaufwerk 37 unterstützt wird, weisen eine Speicherkarte (z. B. einen portablen Flash-Speicher), ein Aufzeichnungsmedium für optische Platten, und dergleichen auf.
Das Medienlaufwerk 37 ermöglicht es, die auf dem portablen Aufzeichnungsmedium aufgezeichneten codierten Daten Cd zu lesen.
Die Speichereinheit 38 repräsentiert umfassend eine Speichervorrichtung, wie etwa eine Festplatte oder eine SSD, und wird zum Speichern verschiedener Daten in der Decodiervorrichtung 3 verwendet. Beispielsweise speichert die Speichereinheit 38 Daten, die zur Steuerung durch die Steuereinheit 35 erforderlich sind. Außerdem können, unter Steuerung der Steuereinheit 35, die von dem Medienlaufwerk 37 gelesenen codierten Daten Cd und die von der Kommunikationseinheit 36 von der externen Vorrichtung empfangenen codierten Daten Cd ebenfalls in der Speichereinheit 38 gespeichert werden.
Die Bedieneinheit 39 repräsentiert umfassend verschiedene Bediener, die in der Decodiervorrichtung 3 bereitgestellt sind, und gibt an die Steuereinheit 35 Bedienungseingabeinformationen gemäß der Bedienungseingabe aus.
Die Steuereinheit 35 führt eine Verarbeitung gemäß den Bedienungseingabeinformationen durch. Infolgedessen erreicht die Decodiervorrichtung 3 eine Bewegung gemäß der Bedienungseingabe.
Die codierten Daten Cd werden unter Steuerung der Steuereinheit 35 in die Decodiereinheit 34 eingegeben.
Die Decodiereinheit 34 decodiert die eingegebenen codierten Daten Cd durch ein später beschriebenes Verfahren, um ein zweidimensionales taktiles Signal zu erhalten. Das von der Decodiereinheit 34 erhaltene zweidimensionale taktile Signal wird in die Nachverarbeitungseinheit 33 eingegeben.
Die Nachverarbeitungseinheit 33 führt nach Bedarf eine Signalverarbeitung, wie etwa eine Kalibrierung der zweidimensionalen taktilen Darstellungsvorrichtung 6, und eine vorbestimmte Filterverarbeitung an dem eingegebenen zweidimensionalen taktilen Signal durch.
Das zweidimensionale taktile Signal, das die Nachverarbeitungseinheit 33 durchlaufen hat, wird zur D/A-Wandlung (Digital/Analog-Wandlung) in den D/A-Wandler 32 eingegeben, und dann von dem Verstärker 31 auf einen geeigneten Dynamikbereich angepasst, um an die zweidimensionale taktile Darstellungsvorrichtung 6 ausgegeben zu werden.
Infolgedessen wird die zweidimensionale taktile Darstellungsvorrichtung 6 basierend auf dem zweidimensionalen taktilen Signal angesteuert, und der taktile Stimulus, der zum Erfassen in der Aufzeichnungsumgebung angestrebt wird, kann an den Empfänger gegeben werden (d. h., taktile Informationen können reproduziert werden).
Beachte, dass, obwohl oben nur das taktile Signal erwähnt wurde, es auch möglich ist, ein Audiosignal und ein Videosignal zusammen mit dem taktilen Signal aufzuzeichnen, und dem Empfänger Ton und Video zusammen mit den taktilen Informationen bereitzustellen.
<Codier- und Decodierverfahren, als Ausführungsform>
[Menschliche taktile Eigenschaft]
Zunächst wird, vor der Beschreibung spezifischer Verfahren zum Codieren und Decodieren, die menschliche taktile Eigenschaft beschrieben, als Ausführungsformen.
Eine in 5 gezeigte Vibrations-Detektionsschwellen-Kurve wurde als Maß für die taktile Empfindlichkeit des Menschen berichtet. Beachte, dass in 5 die horizontale Achse die Frequenz und die vertikale Achse die Größe des taktilen Stimulus darstellt (Vibration: in diesem Fall Verschiebung).
Die in 5 gezeigte Vibrations-Detektionsschwellen-Kurve ist ein Beispiel für eine experimentelle Untersuchung, ob ein Mensch die Vibration als taktile Empfindung empfindet oder nicht, d. h. die taktile Empfindlichkeit. Menschen können Vibrationen, die kleiner als diese Kurve sind, nicht als taktile Empfindungen wahrnehmen.
Hier ist allgemein bekannt, dass es mehrere Rezeptoren gibt, um taktile Empfindungen unter der menschlichen Haut wahrzunehmen. Meissner, Merkel, Ruffini und Pacini sind als typische Rezeptoren bekannt.
Meissner und Pacini werden auch als „FA 1“ bzw. „FA 2“ bezeichnet, wobei FA eine Abkürzung für „Fast Adapting“ (schnelle Anpassung) ist. Merkel und Ruffini werden auch als „SA 1“ bzw. „SA 2“ bezeichnet, wobei SA eine Abkürzung für „Slow Adapting“ (langsame Anpassung) ist.
6 zeigt eine Verteilung eines neuronalen Feuerns für jeden Rezeptor, wenn ein Objekt allmählich gegen die Haut gedrückt, eine Weile gehalten, und dann freigegeben wird.
Merkel (SA 1) zündet kontinuierlich Nerven, während das Objekt dagegen gedrückt wird, und soll die Intensität (Verschiebung, Druck) detektieren. Meissner (FA 1) soll die Periode detektieren, bis das Ausmaß des Drückens des Objekts konstant wird, d.h. die Geschwindigkeit. Pacini (FA 2) soll die Periode detektieren, in der sich das Ausmaß des Drucks ändert, d. h. die Beschleunigung.
7 zeigt eine Vibrations-Detektionsschwellen-Kurve für jeden Rezeptor. Die in 5 gezeigte Kurve zeigt nicht die Eigenschaft eines einzelnen Rezeptors, sondern eine Eigenschaft als ein Ergebnis einer Synthese taktiler Empfindungen, die von mehreren in 7 gezeigten Rezeptoren erhalten wurden.
Aus den in den 5 und 7 gezeigten Vibrations-Detektionsschwellen-Kurven wird gezeigt, dass Menschen Vibrationen bis zu etwa 1 kHz als taktile Stimuli wahrnehmen können. Außerdem, während Werte von 1 kHz oder höher in diesen Diagrammen nicht gezeigt werden, ist es bekannt, dass Menschen Vibrationen selbst bei Vibrationen mit einer Frequenz von etwa mehreren kHz tatsächlich als taktilen Stimulus wahrnehmen können, obwohl die Empfindlichkeit nicht hoch ist.
Bei den meisten herkömmlichen taktilen Reproduktionsanwendungen werden Vibrationen bis zu ungefähr 200 Hz angestrebt. Dies liegt an der Tatsache, dass die taktile Empfindlichkeit des Menschen um 200 Hz am höchsten ist.
Jedoch wurde, wie oben erwähnt, aus verschiedenen früheren Experimenten klargestellt, dass Menschen Vibrationen bis zu 1 kHz als taktile Stimuli wahrnehmen können, und es ist schwierig, mit herkömmlichen Anwendungen hochrealistische taktile Empfindungen zu reproduzieren.
Beispielsweise weist die Vibration, die beim Entkorken einer Flasche auftritt, tatsächlich eine hohe Frequenz von mehreren kHz auf. Wenn dies nur bis zu mehreren hundert Hz reproduziert wird, kann nur eine taktile Empfindung erhalten werden, die sich völlig von der Realität unterscheidet.
In Anbetracht dieses Punktes wendet die vorliegende Ausführungsform ein Verfahren zum Erfassen eines taktilen Stimulus an, wie etwa einer tatsächlich aufgetretenen Vibration, um ein taktiles Signal zu erhalten, und zum Darstellen einer taktilen Empfindung durch das taktile Signal.
[Datenmenge des zweidimensionalen taktilen Signals]
In den letzten Jahren wurden alle Arten von Informationen zur Verwendung digitalisiert, und die Digitalisierung von taktilen Signalen wird in ähnlicher Weise in Betracht gezogen.
Die Menge an digitalisierten Daten kann als Anzahl der pro Zeiteinheit erforderlichen Bits, d. h. als Bitrate, betrachtet werden. Beispielsweise ist in der in 5 gezeigten Vibrations-Detektionsschwellen-Kurve der Bereich, den Menschen wahrnehmen können, mindestens 50 dB (-20 dB bis 30 dB) oder mehr auf der vertikalen Achse (Vibration) und etwa 1000 Hz auf der horizontalen Achse. In diesem Beispiel sind unter Berücksichtigung der Verteilung der tatsächlich von Menschen empfundenen taktilen Informationen Signale im Bereich von +20 dB von der Schwellwertkurve zu erfassen. Insbesondere ist der Vibrationsbereich 70 dB (-20 dB bis 50 dB).
In einem Fall der Digitalisierung dieses Signals durch lineare Pulscodemodulation (LPCM) beträgt die vertikale Achse 9 Bit, da 1 Bit 6 dB ausdrücken kann, und die Abtastfrequenz muss verdoppelt werden, d. h. für die Reproduktion bis 1000 Hz werden 2000 Hz (Abtastungen/s) benötigt. Daher kann eine erforderliche Bitrate B0 durch die folgende [Gleichung 1] erhalten werden. $\begin{array}{l} B 0 = 9 Bit/Abtastung \times 2000 Abtastungen/s = \\ 18 kbit/s \end{array}$
Dieser Wert selbst ist extrem klein im Vergleich zu der Bitrate einer CD (700 kbps/ch), die beispielsweise ein typisches Format für ein Audiosignal ist. Dementsprechend ist es, selbst wenn dieses taktile Signal zusätzlich in ein System integriert wird, unwahrscheinlich, dass es ein großes Problem wird.
Jedoch ist bekannt, wie oben angegeben, dass sich das Band des taktilen Signals, das von Menschen wahrgenommen werden kann, auf mehreren kHz erstreckt. Beispielsweise beträgt in einem Fall des Reproduzierens eines taktilen Signals von bis zu 2000 Hz die Bitrate 36 kbit/s, was doppelt so hoch ist wie in [Gleichung 1].
Außerdem nimmt die Bitrate des zweidimensionalen taktilen Signals bei Verwendung der zweidimensionalen taktilen Darstellungsvorrichtung 6, wie in diesem Beispiel, weiter zu. Insbesondere unter der Annahme, dass die Anzahl der taktilen Darstellungselemente in der zweidimensionalen taktilen Darstellungsvorrichtung 6 in jeder der vertikalen und horizontalen Richtungen n ist, ist eine Bitrate Bn des zweidimensionalen taktilen Signals wie im Folgenden gezeigt [Gleichung 2]. Beachte, dass „^“ Potenz bedeutet. $Bn = 9 Bit/Abtastung \times 2000 Abtastungen/s \times n 2$
Das heißt, wenn beispielsweise n = 8 ist, beträgt die Bitrate Bn = 1,152 Mbps (fast die gleiche wie bei einer Audio-CD).
Das Obige ist die Bitrate von nur einfachen Nutzlastinformationen, und es ist offensichtlich, dass die Bitrate im Fall eines Bitstroms zur Übertragung ungefähr 1,5 bis 2 Mbps beträgt. Obwohl diese Übertragung nicht schwierig ist, wenn sie drahtgebunden ist, kann in einem Fall der Betrachtung eines Systems, in dem die Decodiervorrichtung 3 beispielsweise an den Empfänger angeschlossen ist, der Empfänger die Unannehmlichkeit aufgrund einer drahtgebundenen Übertragung, wie etwa eine Einschränkung der Bewegungsfreiheit, spüren. Daher ist eine drahtlose Übertragung wünschenswert.
Während bei der drahtlosen Übertragung die Übertragung per Wi-Fi (eingetragenes Warenzeichen) für die oben beschriebene Bitrate Bn als geeignet angesehen wird, ist die Vermarktung unter dem Gesichtspunkt des Stromverbrauchs und der Verzögerung schwierig. Bei stromsparender Kommunikation, wie etwa Bluetooth (eingetragenes Warenzeichen), ist eine reibungslose Übertragung aufgrund mangelnder Bandbreite schwierig.
[Erstes Beispiel]
Daher wird in der vorliegenden Ausführungsform die Effizienz eines Systems in Bezug auf eine taktile Reproduktion verbessert, indem die Datenmenge verringert wird, während die taktile Reproduzierbarkeit eines zweidimensionalen taktilen Signals sichergestellt ist.
Hier kann in einem Fall, in dem ein auf einem Zeitsignal basierendes taktiles Signal direkt in jedes taktile Darstellungselement der zweidimensionalen taktilen Darstellungsvorrichtung 6 eingegeben wird, eine vollständige Steuerung durchgeführt werden, was beinhaltet, dass jedes taktile Darstellungselement unabhängig und ohne Korrelation arbeitet. Jedoch wirken bei der tatsächlichen taktilen Darstellung die taktilen Darstellungselemente zusammen, um eine Vibrationswellenoberfläche der darstellenden Oberfläche zu erzeugen, so dass die taktilen Darstellungselemente unvermeidlich in einer korrelierten Weise arbeiten. In diesem Sinne wird es als redundant angesehen, eine Vibrationsdarstellung durch unabhängige Zeitsignaleingabe in jedes taktile Darstellungselement durchzuführen.
Diese Situation ist ähnlich für Stimulus-Ausdrücke für andere Sinnesorgane, und der offensichtlichste ist der Stimulus-Ausdruck für das Sehen, das heißt, der hocheffiziente Ausdruck von Bildern. In einem Bild, das als aussagekräftiges Bild wahrgenommen wird, ist die Helligkeitsänderung zwischen einem Pixel und seinem benachbarten Pixel relativ subtil, und die Bedeutung den Ausdruck einer Objektform in dem Bild ist je nach Pixel unterschiedlich. Wie oben beschrieben, besteht normalerweise eine große Korrelation zwischen den Pixeln in einem Bild, und deshalb kann die Darstellung bis zu einem gewissen Grad modelliert werden.
In der vorliegenden Ausführungsform wird das Problem gelöst, indem diese Modellierung auf den Vibrationsausdruck zur taktilen Darstellung angewendet wird. Das heißt, ein zweidimensionales taktiles Signal wird auf ähnliche Weise wie ein Bildsignal betrachtet, und eine hocheffiziente Codierung und Decodierung wird auf ähnliche Weise wie im Fall eines Bildsignals durchgeführt.
In Bildsignalen werden häufig Ausdrücke verwendet, die auf Sinuswellen basieren, und insbesondere die zweidimensionale diskrete Cosinustransformation (DCT), die eine orthogonale Transformation unter Verwendung von Cosinuswellen ist, ist weit verbreitet. [Gleichung 3] zeigt die Transformationsformel durch DCT-II als ein Beispiel für die Transformationsformel durch zweidimensionale DCT.
[Ausdruck 1] $\begin{array}{l} X (k, l) = \frac{2}{N} c_{k} c_{l} \sum_{n = 0}^{N - 1} \sum_{m = 0}^{N - 1} x (n, m) cos {\frac{π}{N} k (n + \frac{1}{2})} cos {\frac{π}{N} l (m + \frac{1}{2})} \\ c_{k} = {\begin{array}{l} 1 / \sqrt{2} & (k = 0) \\ 1 & (k \neq 0) \end{array} \\ c_{l} = {\begin{array}{l} 1 / \sqrt{2} & (l = 0) \\ 1 & (l \neq 0) \end{array} \end{array}$
Für Bilddaten ist x(n, m) die Helligkeit (oder das Farbdifferenzsignal) in einem Pixel (n, m) in einem DCT-Block, wenn ein Bild in Einheiten von N × N Pixeln in DCT-Blöcke unterteilt ist (N ist eine natürliche Zahl von 2 oder mehr), und ein DCT-Koeffizient X(k, 1) ist seine räumliche Frequenzdarstellung. Das menschliche Sehen reagiert empfindlich auf Helligkeitsänderungen, insbesondere in Bezug auf seine Niederfrequenzkomponenten. Da es in der Natur der DCT liegt, die Energie eines Zeitsignals effizient auf der Niederfrequenzseite des Spektrums zu konzentrieren, ist es möglich, diesen Bereich allein zu codieren und andere Bereiche zu entfernen, ohne viel Unnatürlichkeit zu verursachen.
In Bezug auf die zweidimensionale taktile Darstellung unter Berücksichtigung der in den 5 und 7 gezeigten taktilen Eigenschaften, kann gesagt werden, dass eine Verarbeitung ähnlich wie in dem Fall des Sehens durchgeführt werden kann. Aus diesem Grund wird in der vorliegenden Ausführungsform eine Codierung durchgeführt, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren. Insbesondere wird eine Codierung durchgeführt, um die Informationsmenge durch Analysieren eines zweidimensionalen Spektrums (orthogonaler Transformationskoeffizient: DCT-Koeffizient X(k, 1) im Fall von DCT) zu komprimieren, das durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal erhalten wurde.
Der DCT-Koeffizient X(k, 1) repräsentiert die räumliche Frequenzkomponente auf der k-Achse und der 1-Achse nach der orthogonalen Transformation.
8A zeigt ein sensorisches dreidimensionales Diagramm des DCT-Koeffizienten X(k, 1) als ein Beispiel für das zweidimensionale Spektrum, das durch die orthogonale Transformation erhalten wird.
Die 8B und 8C zeigen das in 8A gezeigte zweidimensionale Spektrum, betrachtet in Querschnitten parallel zur k-Achse und zur 1-Achse, die orthogonale Achsen sind, die die zweidimensionale Ebene bilden. Beachte, dass in jeder der 8A bis 8C der DCT-Koeffizient X(k, 1) in einen absoluten Wert umgewandelt wird.
Ein Hauptvorteil des Verfahrens einer orthogonalen Transformation eines zweidimensionalen taktilen Signals besteht darin, dass das ursprüngliche taktile Stimulus-Muster nahezu originalgetreu reproduziert werden kann, indem nur das Spektrum auf der Niederfrequenzseite codiert wird.
Hier kann, während eine DCT in der Ausführungsform als orthogonale Transformation für ein zweidimensionales taktiles Signal veranschaulicht wird, auch eine KL-Transformation, eine Hadamard-Transformation, oder dergleichen angewendet werden, und das spezifische Verfahren der orthogonalen Transformation kann in Abhängigkeit von dem Zweck und Bedingungen frei ausgewählt werden.
In einem ersten Beispiel wird ein Verfahren zum Komprimieren einer Informationsmenge durch Extrahieren von Niederfrequenzkomponenten aus einem zweidimensionalen Spektrum, das durch orthogonales Transformieren erhalten wird, angewendet. Das heißt, in Anbetracht des oben erwähnten Vorteils der orthogonalen Transformation wird nur die Niederfrequenzkomponente als Hauptkomponente extrahiert, und die anderen Komponenten werden entfernt.
9 ist ein erklärendes Diagramm eines Codierverfahrens als ein erstes Beispiel.
In dem ersten Beispiel wird eine obere Grenzfrequenz Ic angegeben, um die obere Grenze des Frequenzindex des zu extrahierenden Spektrums einzustellen.
Dann wird, wie durch den schattierten Bereich in 9 gezeigt, nur das Spektrum mit dem Frequenzindex gleich oder unter der oberen Grenzfrequenz Ic (d. h. der DCT-Koeffizient X(k, 1)) als Quantisierungsobjekt extrahiert. Das heißt, das Spektrum wird als ein Spektrum extrahiert, das in die codierten Daten Cd aufgenommen werden soll.
Hier kann der Wert der oberen Grenzfrequenz Ic ein Wert sein, der mit der menschlichen taktilen Eigenschaft und der Frequenzeigenschaft der zweidimensionalen taktilen Darstellungsvorrichtung 6 (jedes taktile Darstellungselement) übereinstimmt.
Beispielsweise beträgt die Antwortfrequenz des Rezeptors für Merkel ungefähr 5 bis 15 Hz, für Meissner ungefähr 20 bis 50 Hz, und für Pacini ungefähr 100 bis 300 Hz. Daher ist es in einem System, das alle obigen Frequenzen abdeckt, denkbar, die obere Grenzfrequenz Ic auf ungefähr 500 Hz einzustellen.
Außerdem betragen in einem Fall der Übereinstimmung der Frequenzeigenschaft der zweidimensionalen taktilen Darstellungsvorrichtung 6 die Reaktionseigenschaften des taktilen Darstellungselements ungefähr 1 bis 300 Hz für einen Exzentermotor (ERM), der ein typisches Element ist, ungefähr 200 Hz für einen linearen Resonanzaktuator (LRA), und ungefähr 1 bis 300 Hz für ein Piezoelement. Es ist lediglich erforderlich, die obere Grenzfrequenz Ic basierend auf diese Werte zu bestimmen.
Beachte, dass der Wert der oberen Grenzfrequenz Ic auch gemäß der Eigenschaft der Übertragungsleitung eingestellt werden kann.
Eine Konfiguration zum Implementieren eines Codier- und Decodierverfahrens wird unter Bezugnahme auf die 10 und 11 als das erste Beispiel beschrieben.
10 ist ein Blockdiagramm, das ein Beispiel der internen Konfiguration der Codiereinheit 24 zeigt, die in der Codiervorrichtung 2 enthalten ist.
Wie in 10 gezeigt wird, weist die Codiereinheit 24 eine orthogonale Transformationseinheit 41, eine Extraktionseinheit 42, eine Quantisierungseinheit 43, eine Codierungsverarbeitungseinheit 44 und eine Multiplexeinheit 45 auf.
Ein zweidimensionales taktiles Signal, das auf einem Zeitsignal basiert, wird von der in 3 gezeigten Vorverarbeitungseinheit 23 in die orthogonale Transformationseinheit 41 eingegeben.
Die orthogonale Transformationseinheit 41 führt eine orthogonale Transformation des zweidimensionalen taktilen Signals basierend auf einem Zeitsignal durch, um ein zweidimensionales Spektrum zu erhalten. Insbesondere transformiert die orthogonale Transformationseinheit 41 dieses Beispiels ein zweidimensionales taktiles Signal basierend auf einem Zeitsignal in ein zweidimensionales Spektrum in Bezug auf eine zweidimensionale DCT-Basis.
Beachte, dass es nicht wesentlich ist, das zweidimensionale taktile Signal in mehrere DCT-Blöcke zu unterteilen, und das zweidimensionale taktiles Signal kann als ein einzelner DCT-Block orthogonal transformiert werden. Beispiele eines solchen Fall weisen einen Fall auf, in dem ein zweidimensionales taktiles Signal 64 Werte von 8 × 8 aufweist und der DCT-Block ein 8 × 8-Block ist.
Die Extraktionseinheit 42 analysiert das durch orthogonale Transformation durch die orthogonale Transformationseinheit 41 erhaltene zweidimensionale Spektrum, und extrahiert das Spektrum, das in den codierten Daten Cd enthalten sein soll. Insbesondere extrahiert die Extraktionseinheit 42 in dem ersten Beispiel nur den DCT-Koeffizienten X(k, 1), der auf einem Frequenzindex (sowohl k-Achse als auch 1-Achse) basiert, der gleich oder unter der oberen Grenzfrequenz Ic ist, unter den durch orthogonales Transformieren erhaltenen DCT-Koeffizienten X(k, 1) und gibt den DCT-Koeffizienten X(k, 1) an die Quantisierungseinheit 43 aus.
Die Quantisierungseinheit 43 quantisiert den von der Extraktionseinheit 42 ausgegebenen DCT-Koeffizienten X(k, 1).
Die Codierungsverarbeitungseinheit 44 führt eine Entropiecodierung, wie etwa eine Huffman-Codierung, an dem von der Quantisierungseinheit 43 quantisierten DCT-Koeffizienten X(k, 1) durch, und gibt das Ergebnis an die Multiplexeinheit 45 aus.
Die Multiplexeinheit 45 führt eine Multiplexverarbeitung an den Daten des DCT-Koeffizienten X(k, 1) durch, die von der Codierungsverarbeitungseinheit 44 codiert wurden, und erzeugt die codierten Daten Cd, die Stromdaten aufweisen. Beachte, dass Stromdaten Daten sind, in denen Frames, die einen Header-Bereich und einen tatsächlichen Datenbereich aufweisen, beispielsweise in Zeitrichtung angeordnet sind.
11 ist ein Blockdiagramm, das ein Beispiel der internen Konfiguration der in der Decodiervorrichtung 3 enthalten Decodiereinheit 34 zeigt.
Die Decodiereinheit 34 weist eine Demultiplexeinheit 51, eine Decodierungsverarbeitungseinheit 52, eine inverse Quantisierungseinheit 53 und eine inverse orthogonale Transformationseinheit 54 auf.
Die Demultiplexeinheit 51 empfängt die Eingabe der codierten Daten Cd, die die von der Multiplexeinheit 45 erzeugten Stromdaten aufweisen, und führt eine Demultiplexverarbeitung durch. Durch diese Separierungs-Verarbeitung wird der entropiecodierte DCT-Koeffizient X(k, 1) separiert und aus den Stromdaten extrahiert.
Die Decodierungsverarbeitungseinheit 52 empfängt eine Eingabe des von der Demultiplexeinheit 51 erhaltenen DCT-Koeffizienten X(k, 1), decodiert den Entropiecode, und gibt den DCT-Koeffizienten X(k, 1) an die inverse Quantisierungseinheit 53 aus.
Die inverse Quantisierungseinheit 53 führt eine inverse Quantisierung des von der Decodierungsverarbeitungseinheit 52 decodierten DCT-Koeffizienten X(k, 1) durch, und gibt den DCT-Koeffizienten X(k, 1) an die inverse orthogonale Transformationseinheit 54 aus.
Die inverse orthogonale Transformationseinheit 54 führt eine inverse orthogonale Transformation (IDCT) an dem von der inversen Quantisierungseinheit 53 eingegebenen DCT-Koeffizienten X(k, 1) durch, und erhält ein zweidimensionales taktiles Signal basierend auf einem Zeitsignal.
Das von der inversen orthogonalen Transformationseinheit 54 erhaltene zweidimensionale taktile Signal, das heißt, das Signal, das das taktile Stimulus-Muster für jedes taktile Darstellungselement in der zweidimensionalen taktilen Darstellungsvorrichtung 6 repräsentiert, wird durch die in 4 gezeigte Nachbearbeitungseinheit 33 übertragen, von dem D/A-Wandler 32 in ein analoges Signal umgewandelt, und dann von dem Verstärker 31 verstärkt, um in die zweidimensionale taktile Darstellungsvorrichtung 6 eingegeben zu werden.
Hier, in dem ersten Beispiel, kann gesagt werden, dass die codierten Daten Cd codierte Daten sind, in denen die Informationsmenge durch Extrahieren der Niederfrequenzkomponente komprimiert ist. Das heißt, es kann gesagt werden, dass die Decodiervorrichtung 3 als erstes Beispiel, das solche codierten Daten Cd decodiert, eine Decodiervorrichtung ist, die codierte Daten decodiert, in denen die Informationsmenge durch Extrahieren der Niederfrequenzkomponente komprimiert wurde.
Außerdem kann, in Abhängigkeit davon, wie die obere Grenzfrequenz Ic bestimmt wird, das erste Beispiel ein Verfahren zum Komprimieren der Informationsmenge basierend auf der menschlichen taktilen Eigenschaft sein. Beispielsweise ist der Fall des Einstellens der oberen Grenzfrequenz Ic auf etwa 500 Hz, unter Berücksichtigung der oben beschriebenen Eigenschaften der Rezeptoren, ein Beispiel für einen solchen Fall.
In ähnlicher Weise kann in Abhängigkeit davon, wie die obere Grenzfrequenz Ic bestimmt wird, das erste Beispiel auch ein Verfahren zum Komprimieren der Informationsmenge basierend auf der Vorrichtungseigenschaft sein, die die Frequenzeigenschaft der taktilen Darstellungsvorrichtung ist.
[Zweites Beispiel]
Um die Informationsmenge zu komprimieren, ist es möglich, ein Verfahren des Extrahierens nur des Spektrums mit einem großen Absolutwert, ungeachtet des Frequenzbandes, anzuwenden.
12 ist ein erklärendes Diagramm eines Codierverfahrens als ein zweites Beispiel.
In dem zweiten Beispiel wird ein DCT-Koeffizient X(k, 1), dessen absoluter Wert gleich oder größer als ein Schwellenwert Sth ist, als Hauptkomponente des Spektrums extrahiert.
Der Schwellenwert Sth ist nicht auf einen einzelnen Wert beschränkt, und unterschiedliche Werte können gemäß der in 12 veranschaulichten Frequenz eingestellt werden. In 12 wird als ein Beispiel eines solchen Schwellenwertes Sth ein basierend auf der taktilen Eigenschaft des Menschen bestimmter Schwellenwert Sth veranschaulicht. Der Abfall des Schwellenwertes Sth in 12 entspricht dem Abfall um 100 Hz in der in 5 gezeigten Vibrations-Detektionsschwellen-Kurve.
Gemäß diesem Verfahren, als ein zweites Beispiel, ist es möglich, Frequenzkomponenten zu extrahieren, von denen angenommen wird, dass sie von Menschen in Bezug auf die Größe des Spektrums leicht wahrgenommen werden, und andere Komponenten zu entfernen, wodurch die Datenmenge verringert wird, während die taktile Reproduzierbarkeit sichergestellt ist.
Außerdem wird durch ein starkes Spektrum, das in einem anderen Bereich als dem Niederfrequenzband auftritt, deutlich die Eigenschaft der Vibration ausgedrückt, die nicht nur im Niederfrequenzband ausgedrückt werden kann, und eine effiziente Codierung, die ein solches Spektrum aufweist, trägt wesentlich dazu bei, eine Reproduktion einer realistischeren taktilen Empfindung zu erreichen. Gemäß dem Verfahren nach dem zweiten Beispiel ist es möglich, ein derart starkes Spektrum zu extrahieren, das in einem anderen Bereich als dem Niederfrequenzband auftritt, und deshalb ist es möglich, die taktile Reproduzierbarkeit zu verbessern.
In dem Fall des zweiten Beispiels ist eine Codiereinheit 24 anstelle der Extraktionseinheit 42 mit einer Extraktionseinheit 42A ausgestattet (siehe 10).
Die Extraktionseinheit 42A gibt an eine Quantisierungseinheit 43 nur den DCT-Koeffizienten X(k, 1) aus, dessen absoluter Wert gleich oder größer als der Schwellenwert Sth, unter den durch orthogonales Transformieren durch eine orthogonale Transformationseinheit 41 erhalten DCT-Koeffizienten X(k, 1). Zu diesem Zeitpunkt wird, wenn der Wert des Schwellenwertes Sth in Abhängigkeit von der Frequenz unterschiedlich ist, die Größenbeziehung mit dem Absolutwert des DCT-Koeffizienten X(k, 1) unter Verwendung des entsprechenden Schwellenwertes Sth für jeden Frequenzindex verglichen.
Hier, in dem zweiten Beispiel, kann gesagt werden, dass codierte Daten Cd codierte Daten sind, in denen die Informationsmenge durch Extrahieren der Frequenzkomponente, deren absoluter Wert des orthogonalen Transformationskoeffizienten gleich oder größer als ein Schwellenwert ist, komprimiert wurde. Das heißt, es kann gesagt werden, dass eine Decodiervorrichtung 3 nach dem zweiten Beispiel, die solche codierten Daten Cd decodiert, eine Decodiervorrichtung ist, die codierte Daten decodiert, in denen die Informationsmenge durch Extrahieren der Frequenzkomponente, deren absoluter Wert des orthogonalen Transformationskoeffizienten gleich oder größer als ein Schwellenwert ist, komprimiert wurde.
[Drittes Beispiel]
In einem zweidimensionalen Spektrum, das durch orthogonales Transformieren erhalten wird, stimmt ein Frequenzband, in dem eine Hauptkomponente mit einem großen Spektrum erhalten wird, nicht immer mit einem Frequenzband überein, in dem die Empfindlichkeit eines Rezeptors gut ist. Wenn sich in der Nähe einer Hauptkomponente ein Band befindet, das die Spitze einer Frequenzeigenschaft eines Rezeptors aufweist, kann die Hauptkomponente virtuell verschoben oder deformiert werden, um eine taktile Empfindung gemäß einer taktilen Eigenschaft effizient darzustellen.
Ein spezifisches Beispiel eines Codierverfahrens als ein drittes Beispiel wird unter Bezugnahme auf 13 beschrieben. Beachte, dass hier ein Beispiel eines Codierverfahrens unter Berücksichtigung der taktilen Eigenschaften von zwei Rezeptoren R1 und R2 beschrieben wird.
Die Spitzenfrequenzen u_R1 und u_R2 in 13 repräsentieren Spitzenfrequenzen der Empfindlichkeiten von Rezeptoren R1 bzw. R2. Außerdem sind Nachbarschaftsbereiche ΔR1 und ΔR2 in 13 Frequenzbereiche, die als die Nachbarschaftsbereiche der Spitzenfrequenzen u_R1 bzw. u_R2 definiert sind.
In dem dritten Beispiel wird der repräsentative Wert eines DCT-Koeffizienten X(k, 1) in den Nachbarschaftsbereichen ΔR1 und ΔR2 der Spitzenfrequenzen u_R1 bzw. u_R2 extrahiert. Hier wird als repräsentativer Wert ein repräsentativer Wert des DCT-Koeffizienten X(k, 1) im Zielfrequenzbereich (hier im Nachbarschaftsbereich ΔR) extrahiert, wie etwa ein gewichteter Durchschnittswert, ein Medianwert oder ein Maximalwert des DCT-Koeffizienten X(k, 1) in dem Frequenzbereich.
Beachte, dass in Bezug auf Y(k, L) und Y(K, 1) in 13, Y(k, 1) den DCT-Koeffizienten angibt, der aus dem durch orthogonales Transformieren erhaltenen DCT-Koeffizienten X(x, 1) extrahiert wurde.
Zu diesem Zeitpunkt wird ein Frequenzindex, der einer Spitzenfrequenz u entspricht, einem Frequenzindex des extrahierten DCT-Koeffizienten X(k, 1) zugeordnet. Hier gibt der Frequenzindex, der der Spitzenfrequenz u entspricht, einen Frequenzindex an, der eine Frequenz repräsentiert, die mit der Spitzenfrequenz u übereinstimmt, in einem Fall, in dem die Spitzenfrequenz u mit der durch einen beliebigen Frequenzindex (im Folgenden als Indexfrequenz bezeichnet) repräsentierten Frequenz übereinstimmt, und gibt einen Frequenzindex mit der kleinsten Frequenzdifferenz zu der Spitzenfrequenz u an, in einem Fall, in dem die Spitzenfrequenz u nicht mit einer Indexfrequenz übereinstimmt.
In dem Beispiel von 13 wird unter der Annahme, dass die Spitzenfrequenzen u_R1 und u_R2 jeweils mit einer Indexfrequenz übereinstimmen, gezeigt, dass die Frequenzindizes der Spitzenfrequenzen u_R1 und u_R2 als die Frequenzindizes des für die Nachbarschaftsbereiche ΔR1 bzw. ΔR2 extrahierten DCT-Koeffizienten X(k, 1) zugeordnet werden.
14 zeigt ein Beispiel, in dem der Maximalwert als der oben beschriebene repräsentative Wert extrahiert wird.
Wie in 14 gezeigt wird, ist der Frequenzindex des Maximalwertes des DCT-Koeffizienten X(k, 1) im Nachbarschaftsbereich ΔR1 der Frequenzindex einer Frequenz K₁, und der Frequenzindex des Maximalwertes des DCT-Koeffizienten X(k, 1) im Nachbarschaftsbereich ΔR2 ist der Frequenzindex einer Frequenz K₂, wobei die diesen Maximalwerten zugeordneten Frequenzindizes nicht die Frequenzindizes der Frequenzen K₁ und K₂ sondern die Frequenzindizes der Spitzenfrequenzen u_R1 bzw. u_R2 sind.
Während hier die Art und Weise der Definition eines Nachbarschaftsbereichs ΔR der Spitzenfrequenz u beliebig ist, ist es beispielsweise denkbar, den Nachbarschaftsbereich ΔR auf die folgende Weise zu definieren.
Beispielsweise kann, wie in 15A gezeigt wird, ein Bereich, in dem die Frequenzdifferenz mit der Spitzenfrequenz u auf der Niederfrequenzseite und der Hochfrequenzseite innerhalb von co liegt, als der Nachbarschaftsbereich ΔR definiert werden. Während in 15A die Frequenzdifferenz ω, die den Nachbarschaftsbereich ΔR1 definiert, als „ω₁“ gezeigt ist, und die Frequenzdifferenz ω, die den Nachbarschaftsbereich ΔR2 definiert, als „ω₂“ gezeigt ist, können diese Bezugszeichen ω₁ und ω₂ der gleiche Wert sein oder können unterschiedliche Werte sein. Spezifische Werte von ω₁ und ω₂ können beispielsweise mehrere Hz bis einige zehn Hz betragen.
Alternativ kann, wie in 15B gezeigt wird, unter Verwendung des DCT-Koeffizienten X(k, 1) des Frequenzindex, der der Spitzenfrequenz u entspricht, als Referenzwert rf, der Nachbarschaftsbereich ΔR auf einen Bereich, bis die Differenz (Absolutwert) des DCT-Koeffizienten X(k, 1) in Bezug auf den Referenzwert rf einen vorbestimmten Wert S erreicht, eingestellt werden. Beispielsweise ist es denkbar, den Referenzwert rf auf 0 dB einzustellen, und das Frequenzband, das eine Komponente bis zu einem vorbestimmten Dämpfungsbetrag (z. B. mehrere dB bis einige zehn dB) hat, als Nachbarschaftsbereich ΔR einzustellen.
In 15B werden der Referenzwert rf und der vorbestimmte Wert S zum Definieren des Nachbarschaftsbereichs ΔR1 mit „rf₁“ bzw. „S₁“ bezeichnet, und der Referenzwert rf und der vorbestimmte Wert S zum Definieren des Nachbarschaftsbereichs ΔR2 werden mit „rf₂“ bzw. „S₂“ bezeichnet. Beachte, dass die vorbestimmten Werte S₁ und S₂ der gleiche Wert oder unterschiedliche Werte sein können.
Beachte, dass in dem Fall, in dem der Nachbarschaftsbereich ΔR basierend auf der Frequenzdifferenz ω definiert ist, wie in 15A gezeigt wird, wenn die Spitzenfrequenz der Hauptkomponente nahe der Spitzenfrequenz u ist, die Spitzenfrequenz der Hauptkomponente (nachstehend mit dem Bezugszeichen „p“ bezeichnet) die Mittenfrequenz des Nachbarschaftsbereichs ΔR sein kann. Insbesondere ist, wie in 16A gezeigt wird, ein Bereich, in dem die Frequenzdifferenz zu der Spitzenfrequenz p als Mittenfrequenz innerhalb von ω auf der Niederfrequenzseite und der Hochfrequenzseite ist, als der Nachbarschaftsbereich ΔR definiert.
Außerdem kann, in dem Fall, in dem der Nachbarschaftsbereich ΔR basierend auf dem Referenzwert rf und dem vorbestimmten Wertes S definiert ist, wie in 15B gezeigt wird, wenn die Spitzenfrequenz p der Hauptkomponente nahe der Spitzenfrequenz u ist, der DCT-Koeffizient X(k, 1), der dem Peak der Hauptkomponente entspricht, als Referenzwert rf verwendet werden, und der Nachbarschaftsbereich ΔR kann basierend auf dem vorbestimmten Wert S bestimmt werden, wie in 16B gezeigt wird.
In dem Fall des dritten Beispiels ist eine Codiereinheit 24 anstelle der Extraktionseinheit 42 mit einer Extraktionseinheit 42B ausgestattet (siehe 10).
Für den DCT-Koeffizienten X(k, 1), der durch orthogonales Transformieren durch eine orthogonale Transformationseinheit 41 erhalten wird, erhält die Extraktionseinheit 42B einen repräsentativen Wert des DCT-Koeffizienten X(k, 1) für jeden der Nachbarschaftsbereiche ΔR1 und AR2. Dann werden diese repräsentativen Werte als der DCT-Koeffizient X(k, 1) des Frequenzindex, der der Spitzenfrequenz u_R1 entspricht, bzw. der DCT-Koeffizient X(k, 1) des Frequenzindex, der der Spitzenfrequenz u_R2 entspricht, an eine Quantisierungseinheit 43 ausgegeben.
In dem dritten Beispiel kann gesagt werden, dass codierte Daten Cd codierte Daten sind, in denen die Informationsmenge basierend auf der Eigenschaft jedes Rezeptors komprimiert wurde. Das heißt, es kann gesagt werden, dass eine Decodiervorrichtung 3 nach dem dritten Beispiel, die solche codierten Daten Cd decodiert, eine Decodiervorrichtung ist, die codierte Daten decodiert, in denen die Informationsmenge basierend auf der Eigenschaft jedes Rezeptors komprimiert wurde.
[Viertes Beispiel]
In einem vierten Beispiel wird eine Codierung durchgeführt, um die Informationsmenge basierend auf einer Vorrichtungseigenschaft zu komprimieren, die eine Frequenzeigenschaft einer zweidimensionalen taktilen Darstellungsvorrichtung 6 ist.
Ein Frequenzband, in dem eine Hauptkomponente erhalten wird, stimmt nicht immer mit einem Band überein, in dem eine Vorrichtungseigenschaft gut ist (Band mit hohem Q). Wenn sich in der Nähe einer Hauptkomponente ein Band befindet, das die Spitze einer Vorrichtungseigenschaft aufweist, kann die Hauptkomponente virtuell verschoben oder deformiert werden, um eine taktile Empfindung gemäß der Vorrichtungseigenschaft effizient darzustellen.
Ein spezifisches Beispiel eines Codierverfahrens als viertes Beispiel wird unter Bezugnahme auf 17 beschrieben. Beachte, dass hier ein Beispiel eines Codierverfahrens beschrieben wird, das einem Fall der Durchführung einer taktilen Reproduktion unter Verwendung von zwei zweidimensionalen taktilen Darstellungsvorrichtungen 6 entspricht. Nachfolgend werden in dem vierten Beispiel die zwei zweidimensionalen taktilen Darstellungsvorrichtungen 6 als „D1“ und „D2“ unterschieden.
Die Spitzenfrequenzen v_D1 und v_D2 in 17 geben die Spitzenfrequenzen der Vorrichtungseigenschaft der zweidimensionalen taktilen Darstellungsvorrichtungen D1 bzw. D2 an. Außerdem sind die Nachbarschaftsbereiche ΔD1 und ΔD2 in 17 Frequenzbereiche, die als die Nachbarschaftsbereiche der Spitzenfrequenzen v_D1 bzw. v_D2 definiert sind.
Hier kann, während die Art und Weise des Einstellens des Bereichs eines Nachbarschaftsbereichs ΔD einer Spitzenfrequenz v als ein spezifisches Beispiel beliebig ist, ähnlich zu dem Nachbarschaftsbereich ΔR der Spitzenfrequenz u, der im dritten Beispiel beschrieben ist, der Nachbarschaftsbereich ΔD beispielsweise ein Bereich sein, der unter Verwendung einer Frequenzdifferenz ω und eines vorbestimmten Wertes S bestimmt wird (siehe die 15 und 16).
In dem vierten Beispiel wird der repräsentative Wert eines DCT-Koeffizienten X(k, 1) in den Nachbarschaftsbereichen ΔD1 und ΔD2 der Spitzenfrequenzen v_D1 bzw. v_D2 extrahiert. Hier wird als der repräsentative Wert, wie im Fall des dritten Beispiels, ein repräsentativer Wert des DCT-Koeffizienten X(k, 1) im Zielfrequenzbereich extrahiert, wie beispielsweise ein gewichteter Durchschnittswert, ein Medianwert oder ein Maximalwert des DCT-Koeffizienten X(k, 1) im Frequenzbereich.
Zu diesem Zeitpunkt wird, wie in dem Fall des dritten Beispiels, ein Frequenzindex, der der Spitzenfrequenz v entspricht, einem Frequenzindex des extrahierten DCT-Koeffizienten X(k, 1) zugeordnet. In dem Beispiel von 17 wird unter der Annahme, dass die Spitzenfrequenzen v_D1 und v_D2 jeweils mit einer Indexfrequenz übereinstimmen, gezeigt, dass die Frequenzindizes der Spitzenfrequenzen v_D1 und v_D2 als die Frequenzindizes des für die Nachbarschaftsbereiche ΔD1 bzw. ΔD2 extrahierten DCT-Koeffizienten X(k, 1) zugeordnet werden.
In dem Fall des vierten Beispiels ist eine Codiereinheit 24 anstelle der Extraktionseinheit 42 mit einer Extraktionseinheit 42C ausgestattet (siehe 10).
Für den durch orthogonales Transformieren durch eine orthogonale Transformationseinheit 41 erhaltenen DCT-Koeffizienten X(k, 1) erhält die Extraktionseinheit 42C einen repräsentativen Wert des DCT-Koeffizienten X(k, 1) für jeden der Nachbarschaftsbereiche ΔD1 und ΔD2. Dann werden diese repräsentativen Werte als der DCT-Koeffizient X(k, 1) des Frequenzindex, der der Spitzenfrequenz v_D1 entspricht, bzw. der DCT-Koeffizient X(k, 1) des Frequenzindex, der der Spitzenfrequenz v_D2 entspricht, an eine Quantisierungseinheit 43 ausgegeben.
In dem vierten Beispiel kann gesagt werden, dass codierte Daten Cd codierte Daten sind, in denen die Informationsmenge komprimiert wurde durch Extrahieren des repräsentativen Wertes eines orthogonalen Transformationskoeffizienten in der Nähe der Spitzenfrequenz der Vorrichtungseigenschaft, die die Frequenzeigenschaft der taktilen Darstellungsvorrichtung ist. Das heißt, es kann gesagt werden, dass eine Decodiervorrichtung 3 nach dem vierten Beispiel, die solche codierten Daten Cd decodiert, eine Decodiervorrichtung ist, die codierte Daten decodiert, in denen die Informationsmenge durch Extrahieren des repräsentativen Wertes eines orthogonalen Transformationskoeffizienten in der Nähe der Spitzenfrequenz der Vorrichtungseigenschaft komprimiert wurde.
Während es hier möglich ist, immer die gleiche Vorrichtung als die zweidimensionale taktile Darstellungsvorrichtung 6, die mit der Decodiervorrichtung 3 verbunden ist, zu verwenden, es ist, um eine größere Vielfalt von taktilen Darstellungsfunktionen bereitzustellen, auch denkbar, die zu verbindente zweidimensionale taktile Darstellungsvorrichtung 6 je nach Anwendungsfall zu ersetzen. In einem Fall, in dem ein solches Ersetzen der zweidimensionalen taktilen Darstellungsvorrichtung 6 erlaubt wird, ist es denkbar, die Einstellungen der Spitzenfrequenz v und des Nachbarschaftsbereichs ΔD gemäß der Vorrichtungseigenschaft der verbundenen zweidimensionalen taktilen Darstellungsvorrichtung 6 zu wechseln.
18 zeigt ein Konfigurationsbeispiel eines taktilen Reproduktionssystems 1 zum Wechseln der Einstellungen der Spitzenfrequenz v und des Nachbarschaftsbereichs ΔD gemäß der Vorrichtungseigenschaft der verbundenen zweidimensionalen taktilen Darstellungsvorrichtung 6. Beachte, dass in 18 unter den Komponenten einer Codiervorrichtung 2 und der Decodiervorrichtung 3 nur die Komponenten, die sich auf das Wechseln der Einstellungen der Spitzenfrequenz v und des Nachbarschaftsbereichs ΔD beziehen, extrahiert und gezeigt werden.
In diesem Fall erlangt eine Steuereinheit 35 in der Decodiervorrichtung 3 Vorrichtungseigenschafts-Identifikationsinformationen von jeder der zweidimensionalen taktilen Darstellungsvorrichtungen 6 (D1, D2), die mit der Decodiervorrichtung 3 verbunden sind. Mit Vorrichtungseigenschafts-Identifikationsinformationen sind Informationen gemeint, die die Vorrichtungseigenschaft identifizieren können, wie etwa ID-Informationen, die jeder zweidimensionalen taktilen Darstellungsvorrichtung 6 zugeordnet sind. Die Steuereinheit 35 veranlasst eine Kommunikationseinheit 36, die erlangten Vorrichtungseigenschafts-Identifikationsinformationen an die Codiervorrichtung 2 zu übertragen.
In der Codiervorrichtung 2 empfängt eine Steuereinheit 25 die von der Kommunikationseinheit 36 über eine Kommunikationseinheit 27 übertragenen Vorrichtungseigenschafts-Identifikationsinformationen und gibt die Vorrichtungseigenschafts-Identifikationsinformationen an die Extraktionseinheit 42C in der Codiereinheit 24 aus. Die Extraktionseinheit 42C stellt die Spitzenfrequenz v und den Nachbarschaftsbereich ΔD gemäß den von der Steuereinheit 25 eingegebenen Vorrichtungseigenschafts-Identifikationsinformation ein, und führt die Codierung als das vierte oben beschriebene Beispiel durch.
Mit einer solchen Konfiguration kann beispielsweise die Decodiervorrichtung 3 die Codiervorrichtung 2 über die Vorrichtungseigenschafts-Identifikationsinformationen informieren, und die Codiervorrichtung 2 kann eine Codierung unter Verwendung von Informationen über die Spitzenfrequenz v und den Nachbarschaftsbereich ΔD, der gemäß den Vorrichtungseigenschafts-Identifikationsinformationen eingestellt ist, durchführen.
Dementsprechend ist es möglich, ein taktiles Reproduktionssystem, das verwendet werden kann, zu implementieren, indem die zweidimensionale taktile Darstellungsvorrichtung 6 durch die mit einer anderen Vorrichtungseigenschaft ersetzt wird.
Beachte, dass das Codier- und Decodierverfahren als viertes Beispiel in geeigneter Weise nicht nur auf einen Fall angewendet werden kann, in dem die taktile Reproduktion durch mehrere zweidimensionale taktile Darstellungsvorrichtungen 6 durchgeführt wird, sondern auch auf einen Fall, in dem die taktile Reproduktion durch eine einzelne zweidimensionale taktile Darstellungsvorrichtung 6 durchgeführt wird.
Hier ist es, in dem Fall, in dem mehrere zweidimensionale taktile Darstellungsvorrichtungen 6 für die taktile Reproduktion verwendet werden, zur Verbesserung der taktilen Reproduzierbarkeit effektiv, eine zweidimensionale taktile Darstellungsvorrichtung 6 zu verwenden, die mit der Eigenschaft des Rezeptors übereinstimmt, die durch die Vorrichtungseigenschaft angestrebt wird. Beispielsweise kann als zweidimensionale taktile Darstellungsvorrichtung 6 die zweidimensionale taktile Darstellungsvorrichtung 6 mit einer Vorrichtungseigenschaftsspitze in einem relativ niederfrequenten Bereich als zweidimensionale taktile Darstellungsvorrichtung 6 für Merkel verwendet werden, und die zweidimensionale taktile Darstellungsvorrichtung 6 mit einer Vorrichtungseigenschaftsspitze in einem relativ hohen Frequenzbereich kann als zweidimensionale taktile Darstellungsvorrichtung 6 für Pacini verwendet werden.
[Fünftes Beispiel]
In einem fünften Beispiel wird die Codierung basierend auf dem Gesichtspunkt einer statischen taktilen Empfindung und einer dynamischen taktilen Empfindung durchgeführt.
19 ist ein erklärendes Diagramm eines Codierverfahrens als ein fünftes Beispiel.
In dem fünften Beispiel wird die Clusterbildung der DCT-Koeffizienten X(k, 1) an allen DCT-Koeffizienten X(k, 1) durchgeführt, die durch orthogonales Transformieren erhalten wurden, um eine statische taktile Empfindung und eine dynamische taktile Empfindung zu erzeugen. Insbesondere werden die DCT-Koeffizienten X(k, 1) in einen Cluster C_s, der ein Cluster (Frequenzband) ist, der der statischen taktilen Empfindung entspricht, und einen Cluster C_D, der ein Cluster ist, der der dynamischen taktilen Empfindung entspricht, unterteilt. Hier wird eine statische taktile Empfindung im Wesentlichen durch eine Vibrationsdarstellung im Niederfrequenzband erhalten, und eine dynamische taktile Empfindung wird durch die Vibration im Hochfrequenzband bewirkt.
Bei der taktilen Reproduktion des fünften Beispiels werden zwei zweidimensionale taktile Darstellungsvorrichtungen 6 verwendet, von denen die eine exzellente Reproduzierbarkeit der statischen taktilen Empfindung und die andere eine exzellente Reproduzierbarkeit der dynamischen taktilen Empfindung aufweist. Das heißt, die zweidimensionale taktile Darstellungsvorrichtung 6 (nachstehend durch das Referenzzeichen „6-1“ bezeichnet), in der das Band mit hohem Q das Niederfrequenzband ist, und die zweidimensionale taktile Darstellungsvorrichtung 6 (nachstehend durch das Referenzzeichen „6-2“ bezeichnet), in der das Band mit hohem Q ein Hochfrequenzband ist, es werden verwendet.
In 19 repräsentiert eine Spitzenfrequenz P_s die Spitzenfrequenz der Vorrichtungseigenschaft der zweidimensionalen taktilen Darstellungsvorrichtung 6-1 und repräsentiert eine Spitzenfrequenz P_D die Spitzenfrequenz der Vorrichtungseigenschaft der zweidimensionalen taktilen Darstellungsvorrichtung 6-2.
Die Cluster C_s und C_D sollen nicht nur die DCT-Koeffizienten X(k, 1) in der Nähe der Spitzenfrequenzen P_s bzw. P_D aufweisen, sondern auch die DCT-Koeffizienten X(k, 1) in dem gesamten Band, das von der zweidimensionalen taktilen Darstellungsvorrichtung 6-1 abgedeckt wird, und die DCT-Koeffizienten X(k, 1) in dem gesamten Band, das von der zweidimensionalen taktilen Darstellungsvorrichtung 6-2 abgedeckt wird. Der Cluster Cs wird so eingestellt, dass er die Spitzenfrequenz P_s aufweist, und der Cluster C_D wird so eingestellt, dass er die Spitzenfrequenz P_D aufweist.
Dann werden in einem Codierverfahren als fünftes Beispiel der repräsentative Wert des DCT-Koeffizienten X(k, 1) in dem Frequenzband als Cluster Cs und der repräsentative Wert des DCT-Koeffizienten X(k, 1) in dem Frequenzband als Cluster C_D extrahiert, und codierte Daten Cd werden unter Verwendung nur dieser repräsentativen Werte als Ziele für die Quantisierung erzeugt. Beachte, dass die Definition des repräsentativen Wertes der in dem dritten und in dem vierten Beispiel ähnlich ist. Zu diesem Zeitpunkt sind Frequenzindizes, die dem repräsentativen Wert des Clusters Cs und dem repräsentativen Wert des Clusters Cs zugeordnet sind, Frequenzindizes, die der Spitzenfrequenz P_S bzw. der Spitzenfrequenz P_D entsprechen.
In dem Fall des fünften Beispiels ist eine Codiereinheit 24 anstelle der Extraktionseinheit 42 mit einer Extraktionseinheit 42D ausgestattet (siehe 10).
Für den durch orthogonales Transformieren durch eine orthogonale Transformationseinheit 41 erhaltenen DCT-Koeffizienten X(k, 1) erhält die Extraktionseinheit 42D einen repräsentativen Wert des DCT-Koeffizienten X(k, 1) in jedem von dem Frequenzband als Cluster Cs und dem Frequenzband als Cluster C_D. Dann werden diese repräsentativen Werte als der DCT-Koeffizient X(k, 1) des Frequenzindex, der der Spitzenfrequenz P_s entspricht, bzw. der DCT-Koeffizient X(k, 1) des Frequenzindex, der der Spitzenfrequenz P_D entspricht, an eine Quantisierungseinheit 43 ausgegeben.
20 ist ein Diagramm zur Beschreibung eines Beispiels der internen Konfiguration einer Decodiervorrichtung 3 des fünften Beispiels.
Die Decodiervorrichtung 3 des fünften Beispiels steuert die zweidimensionalen taktilen Darstellungsvorrichtungen 6-1 und 6-2 basierend auf einem zweidimensionalen taktilen Signals an, das durch Decodieren, in einer Decodiereinheit 34, von codierten Daten Cd erhalten wird, die durch die Codierung, wie oben beschrieben, erhaltenen wurden. Insbesondere zeigt 20 eine Konfiguration, in der ein zweidimensionales taktiles Signal erhalten wird, das durch Decodieren der codierten Daten Cd durch die Decodiereinheit 34 erhalten wird, d. h. ein zweidimensionales taktiles Signal, das sowohl eine repräsentative Wertkomponente des Clusters Cs als auch eine repräsentative Wertkomponente des Clusters C_D aufweist, wird eingegeben, um die beiden zweidimensionalen taktilen Darstellungsvorrichtungen 6-1 und 6-2 anzusteuern.
Beachte, dass es auch möglich ist, beispielsweise eine inverse orthogonale Transformation für jeden von dem repräsentativen Wert des Clusters Cs und dem repräsentativen Wert des Cluster C_D individuell durchzuführen, um individuell ein zweidimensionales taktiles Signal, das nur die repräsentative Wertkomponente des Clusters Cs aufweist, und ein zweidimensionales taktiles Signal, das nur die repräsentative Wertkomponente des Cluster C_D aufweist, zu erzeugen, und die zweidimensionalen taktilen Darstellungsvorrichtungen 6-1 und 6-2 individuell durch die zweidimensionalen taktilen Signale anzusteuern.
Beachte, dass, während oben ein Beispiel für die Verwendung mehrerer zweidimensionaler taktiler Darstellungsvorrichtungen 6 gegeben wurde, in einem Fall, in dem eine zweidimensionale taktile Darstellungsvorrichtung 6 mit mehreren Resonanzpunkten verwendet wird, es nicht erforderlich ist, mehrere zweidimensionale taktile Darstellungsvorrichtungen 6 zu verwenden.
In dem fünften Beispiel kann gesagt werden, dass die codierten Daten Cd codierte Daten sind, in denen die Informationsmenge durch Extrahieren des repräsentativen Wertes eines orthogonalen Transformationskoeffizienten aus dem Frequenzband, das der statischen taktilen Empfindung entspricht, und dem Frequenzband, das der dynamischen taktilen Empfindung entspricht, komprimiert wurde. Das heißt, es kann gesagt werden, dass die Decodiervorrichtung 3 nach dem fünften Beispiel, die solche codierten Daten Cd decodiert, eine Decodiervorrichtung ist, die codierte Daten decodiert, in denen die Informationsmenge durch Extrahieren des repräsentativen Wertes eines orthogonalen Transformationskoeffizienten aus dem Frequenzband, das der statischen taktilen Empfindung entspricht, und dem Frequenzband, das der dynamischen taktilen Empfindung entspricht, komprimiert wurde.
Hier, in dem fünften Beispiel, wird angenommen, dass es unwahrscheinlich ist, dass die taktile Reproduzierbarkeit abnimmt, selbst wenn die Partikelgröße in der Zeitrichtung verringert wird, da die Komponente des Clusters C_s, das der statischen taktilen Empfindung entspricht, eine Niederfrequenzkomponente ist.
Daher ist es, wie in 21 veranschaulicht, denkbar, die Bitrate zu verringern, indem die Komponente des Clusters C_s, das der statischen taktilen Empfindung entspricht, weniger häufig in die codierten Daten Cd aufgenommen wird als die Komponente der Cluster C_D, das der dynamischen taktilen Empfindung entspricht.
21A zeigt ein Beispiel, in dem die Abtastrate der Cs-Cluster-Komponente 1/4 derjenigen der C_D-Cluster-Komponente beträgt, und 21B zeigt ein Beispiel, in dem die Abtastrate der C_s-Cluster-Komponente 1/10 derjenigen der Cluster-C_D-Komponente beträgt.
Beachte, dass für die Klassifizierung der statischen taktilen Empfindung und der dynamischen taktilen Empfindung die statische taktile Empfindung eine Komponente mit einer Frequenz = 0 (oder eine Komponente in der Nähe von 0) sein kann, d. h. eine Gleichstromkomponente, und die dynamische taktile Empfindung die anderen Frequenzkomponenten sein kann. Die hier erwähnte Gleichstromkomponente kann als eine Komponente zum Wahrnehmen der „unebenen Form“ selbst einer taktilen Darstellungsfläche paraphrasiert werden. Das heißt, durch Klassifizieren der statischen taktilen Empfindung und der dynamischen taktilen Empfindung, wie oben beschrieben, ist es möglich, mehrere Darstellungen einer Objektform und ihrer feinen Textur durchzuführen (z. B. eine Darstellung der Empfindung, wie etwa beim Streicheln eines Tieres mit Haaren).
Zu diesem Zeitpunkt ist es, da die Cs-Cluster-Komponente eine Gleichstsromkomponente ist, unwahrscheinlich, dass die taktile Reproduzierbarkeit abnimmt, selbst wenn die Abtastrate verringert wird, und deshalb kann die Bitrate der codierten Daten Cd weiter verringert werden.
<Zusammenfassung der Ausführungsform und Modifikation>
Wie oben beschrieben, weist die Codiervorrichtung (Codiervorrichtung 2) nach der Ausführungsform die Codiereinheit (Codiereinheit 24) auf, die eine Codierung durchführt, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren.
Durch orthogonale Transformation eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal ist es möglich, die Informationsmenge zu komprimieren, indem Frequenzkomponenten entfernt werden, die für den Menschen schwer wahrnehmbar sind, wie beispielsweise im Fall eines Bildsignals.
Dementsprechend ist es möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit eines zweidimensionalen taktilen Signals sichergestellt ist, und die Effizienz eines Systems in Bezug auf die taktile Reproduktion zu verbessern.
Außerdem komprimiert in der Codiervorrichtung nach der Ausführungsform die Codiereinheit (siehe die Extraktionseinheit 42) die Informationsmenge durch Extrahieren der Niederfrequenzkomponente.
Bei einer orthogonalen Umwandlung, wie etwa einer DCT, wird die Energie eines Zeitsignals effizient auf die Niederfrequenzseite eines Spektrums konzentriert. Daher ist es, selbst wenn die Niederfrequenzkomponente extrahiert wird und die anderen Komponenten entfernt werden, unwahrscheinlich, dass der Empfänger eine Unnatürlichkeit spürt.
Dementsprechend ist es möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit eines zweidimensionalen taktilen Signals sichergestellt ist, und die Effizienz eines Systems in Bezug auf die taktile Reproduktion zu verbessern.
Darüber hinaus komprimiert die Codiereinheit, in der Codiervorrichtung nach der Ausführungsform, die Informationsmenge basierend auf der menschlichen taktilen Eigenschaft.
Dies ermöglicht es, die Informationsmenge zu komprimieren, indem Frequenzkomponenten mit geringer taktiler Empfindlichkeit des Menschen entfernt werden.
Dementsprechend ist es möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit eines zweidimensionalen taktilen Signals sichergestellt ist, und die Effizienz eines Systems in Bezug auf die taktile Reproduktion zu verbessern.
Ferner komprimiert, in der Codiervorrichtung nach der Ausführungsform, die Codiereinheit (siehe die Extraktionseinheit 42A) die Informationsmenge durch Extrahieren der Frequenzkomponente, deren absoluter Wert des orthogonalen Transformationskoeffizienten gleich oder größer als ein Schwellenwert ist.
Dies ermöglicht es, Frequenzkomponenten zu extrahieren, von denen angenommen wird, dass sie von dem Menschen in Bezug auf die Größe des orthogonalen Transformationskoeffizienten (Spektrum) leicht wahrgenommen werden, und andere Komponenten zu entfernen.
Dementsprechend ist es möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit eines zweidimensionalen taktilen Signals sichergestellt ist, und die Effizienz eines Systems in Bezug auf die taktile Reproduktion zu verbessern.
Außerdem ist in der Codiervorrichtung nach der Ausführungsform der Schwellenwert ein Schwellenwert, der basierend auf der menschlichen taktilen Eigenschaft bestimmt wird.
Infolgedessen ist es möglich, Frequenzkomponenten mit geringer taktiler Empfindlichkeit des Menschen zu entfernen, selbst wenn der orthogonale Transformationskoeffizient groß ist.
Dementsprechend ist es möglich, die Datenmenge weiter zu verringern, während die taktile Reproduzierbarkeit sichergestellt ist.
Darüber hinaus komprimiert in der Codiervorrichtung nach der Ausführungsform die Codiereinheit (siehe die Extraktionseinheit 42B) die Informationsmenge basierend auf der taktilen Eigenschaft jedes Rezeptors.
Dies ermöglicht es, hochempfindliche Frequenzkomponenten für jeden Rezeptor zu extrahieren und andere Komponenten zu entfernen.
Dementsprechend ist es möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit sichergestellt ist, und die Effizienz eines Systems in Bezug auf die taktile Reproduktion zu verbessern.
Ferner komprimiert in der Codiervorrichtung nach der Ausführungsform die Codiereinheit die Informationsmenge durch Extrahieren des repräsentativen Wertes eines orthogonalen Transformationskoeffizienten in der Nähe der Spitzenfrequenz der Empfindlichkeit eines Rezeptors.
Der obige repräsentative Wert bedeutet einen typischen Wert des orthogonalen Transformationskoeffizienten in der Nähe der Spitzenfrequenz, wie etwa einen gewichteten Durchschnittswert, einen Medianwert und einen Maximalwert des orthogonalen Transformationskoeffizienten in der Nähe der Spitzenfrequenz. Durch Extrahieren eines solchen repräsentativen Wertes ist es möglich, eine Frequenzkomponente mit hoher Empfindlichkeit des Rezeptors geeignet zu extrahieren.
Dementsprechend ist es möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit sichergestellt ist, und die Effizienz eines Systems in Bezug auf die taktile Reproduktion zu verbessern.
Außerdem ordnet die Codiereinheit, in der Codiervorrichtung nach der Ausführungsform, einen Frequenzindex auf, der der Spitzenfrequenz der Empfindlichkeit des Rezeptors entspricht, als Frequenzindex des repräsentativen Wertes zu.
Dies ermöglicht es, eine taktile Empfindung entsprechend der Spitzenfrequenz der Empfindlichkeit des Rezeptors effizient darzustellen.
Dementsprechend ist es möglich, die Datenmenge zu verringern, was eine taktile Reproduzierbarkeit sicherzustellt.
Darüber hinaus komprimiert in der Codiervorrichtung nach der Ausführungsform die Codiereinheit die Informationsmenge basierend auf der Vorrichtungseigenschaft, die die Frequenzeigenschaft der taktilen Darstellungsvorrichtung ist.
Infolgedessen ist es für die taktile Darstellungsvorrichtung möglich, Frequenzkomponenten zu extrahieren, die dazu geeignet sind, taktile Empfindungen effizient darzustellen, und andere Komponenten zu entfernen.
Dementsprechend ist es möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit sichergestellt ist, und die Effizienz eines Systems in Bezug auf die taktile Reproduktion zu verbessern.
Ferner komprimiert in der Codiervorrichtung nach der Ausführungsform die Codiereinheit die Informationsmenge basierend auf den Vorrichtungseigenschaften mehrerer taktiler Darstellungsvorrichtungen.
Infolgedessen ist es, in einem Fall der Darstellung einer taktilen Empfindung unter Verwendung einer anderen taktilen Darstellungsvorrichtung für jeden Rezeptor, oder einer Verwendung einer anderen taktilen Darstellungsvorrichtung für jede von einer statischen taktilen Empfindung und einer dynamischen taktilen Empfindung, für jede taktile Darstellungsvorrichtung möglich, Frequenzkomponenten zu extrahieren, die die taktile Empfindung effizient darstellen können, und andere Komponenten zu entfernen.
Dementsprechend ist es in einem Fall, in dem die taktile Empfindung unter Verwendung mehrerer taktiler Darstellungsvorrichtungen dargestellt wird, möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit sichergestellt ist.
Außerdem komprimiert in der Codiervorrichtung nach der Ausführungsform die Codiereinheit (siehe die Extraktionseinheit 42C) die Informationsmenge durch Extrahieren des repräsentativen Wertes eines orthogonalen Transformationskoeffizienten in der Nähe der Spitzenfrequenz einer Vorrichtungseigenschaft.
Dies ermöglicht es für die taktile Darstellungsvorrichtung Frequenzkomponenten, die dazu geeignet sind, taktile Empfindungen effizient darzustellen, geeignet zu extrahieren.
Dementsprechend ist es möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit sichergestellt ist, und die Effizienz eines Systems in Bezug auf die taktile Reproduktion zu verbessern.
Darüber hinaus ordnet die Codiereinheit, in der Codiervorrichtung nach der Ausführungsform, einen Frequenzindex, der der Spitzenfrequenz der Vorrichtungseigenschaft entspricht, als Frequenzindex des repräsentativen Wertes zu.
Dies ermöglicht es, eine taktile Empfindung entsprechend der Spitzenfrequenz der Vorrichtungseigenschaften effizient darzustellen.
Dementsprechend ist es möglich, die Datenmenge zu verringern, um eine taktile Reproduzierbarkeit sicherzustellen.
Ferner komprimiert in der Codiervorrichtung nach der Ausführungsform die Codiereinheit (siehe die Extraktionseinheit 42D) die Informationsmenge durch Extrahieren des repräsentativen Wertes eines orthogonalen Transformationskoeffizienten aus dem Frequenzband, das der statischen taktilen Empfindung entspricht, und dem Frequenzband, das der dynamischen taktilen Empfindung entspricht.
Infolgedessen ist es in einem Fall des Reproduzierens sowohl der statischen taktilen Empfindung als auch der dynamischen taktilen Empfindung möglich, die Informationsmenge geeignet zu komprimieren.
Das heißt, es ist möglich, die Datenmenge zu verringern, was eine taktile Reproduzierbarkeit sicherzustellt.
Außerdem stellt, in der Codiervorrichtung nach der Ausführungsform, die Codiereinheit die Frequenz, die den repräsentativen Wert aufweist, der aus dem Frequenzband extrahiert wurde, das in codierten Daten der statischen taktilen Empfindung entspricht, niedriger ein als die Frequenz, die den repräsentativen Wert aufweist, der aus dem Frequenzband extrahiert wurde, das in den codierten Daten der dynamischen taktilen Empfindung entspricht.
Da die statische taktile Empfindung durch einen niederfrequenten taktilen Stimulus gegeben ist, ist es unwahrscheinlich, dass die Reproduzierbarkeit der taktilen Empfindung abnimmt, selbst wenn die statische taktile Empfindung weniger häufig in den codierten Daten enthalten ist.
Dementsprechend ist es möglich, die Datenmenge weiter zu verringern, während die Abnahme der taktilen Reproduzierbarkeit unterdrückt wird.
Außerdem ist das Codierverfahren nach der Ausführungsform ein Codierverfahren zum Durchführen einer Codierung, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren.
Auch mit einem solchen Codierverfahren kann eine Operation und ein Effekt erhalten werden, die denen der Codiervorrichtung in der oben beschriebenen Ausführungsform ähnlich sind.
Außerdem weist die Decodiervorrichtung (Decodiervorrichtung 3) nach der Ausführungsform die Decodiereinheit (Decodiereinheit 34) auf, die codierte Daten decodiert, die durch Durchführen einer Codierung, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren, erhalten werden.
Durch orthogonale Transformation eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal ist es möglich, die Informationsmenge zu komprimieren, indem Frequenzkomponenten entfernt werden, die für den Menschen schwer wahrzunehmen sind, wie beispielsweise im Fall eines Bildsignals.
Dementsprechend ist es möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit eines zweidimensionalen taktilen Signals sichergestellt ist, und die Effizienz eines Systems in Bezug auf die taktile Reproduktion zu verbessern.
Außerdem decodiert in der Decodiervorrichtung nach der Ausführungsform die Decodiereinheit codierte Daten, in denen die Informationsmenge durch Extrahieren der Niederfrequenzkomponente komprimiert wurde.
Bei einer orthogonalen Umwandlung, wie etwa DCT, wird die Energie eines Zeitsignals effizient auf die Niederfrequenzseite eines Spektrums konzentriert. Daher ist es, selbst wenn die Niederfrequenzkomponente extrahiert und die anderen Komponenten entfernt werden, unwahrscheinlich, dass der Empfänger eine Unnatürlichkeit spürt.
Dementsprechend ist es möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit eines zweidimensionalen taktilen Signals sichergestellt ist, und die Effizienz eines Systems in Bezug auf die taktile Reproduktion zu verbessern.
Darüber hinaus decodiert in der Decodiervorrichtung nach der Ausführungsform die Decodiereinheit codierte Daten, in denen die Informationsmenge basierend auf der menschlichen taktilen Eigenschaft komprimiert wurde.
Dies ermöglicht es, die Informationsmenge zu komprimieren, indem Frequenzkomponenten mit geringer taktiler Empfindlichkeit des Menschen entfernt werden.
Dementsprechend ist es möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit eines zweidimensionalen taktilen Signals sichergestellt ist, und die Effizienz eines Systems in Bezug auf die taktile Reproduktion zu verbessern.
Ferner decodiert in der Decodiervorrichtung nach der Ausführungsform die Decodiereinheit codierte Daten, in denen die Informationsmenge durch Extrahieren der Frequenzkomponente, deren absoluter Wert des orthogonalen Transformationskoeffizienten gleich oder größer als ein Schwellenwert ist, komprimiert wurde.
Dies ermöglicht es, Frequenzkomponenten zu extrahieren, von denen angenommen wird, dass sie von Menschen in Bezug auf die Größe des orthogonalen Transformationskoeffizienten (Spektrum) leicht wahrgenommen werden, und andere Komponenten zu entfernen.
Dementsprechend ist es möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit eines zweidimensionalen taktilen Signals sichergestellt ist, und die Effizienz eines Systems in Bezug auf die taktile Reproduktion zu verbessern.
Außerdem ist in der Decodiervorrichtung nach der Ausführungsform der Schwellenwert ein Schwellenwert, der basierend auf der menschlichen taktilen Eigenschaft bestimmt wird.
Infolgedessen ist es möglich, Frequenzkomponenten mit geringer taktiler Empfindlichkeit des Menschen zu entfernen, selbst wenn der orthogonale Transformationskoeffizient groß ist.
Dementsprechend ist es möglich, die Datenmenge weiter zu verringern, während die taktile Reproduzierbarkeit sichergestellt ist.
Außerdem decodiert in der Decodiervorrichtung nach der Ausführungsform die Decodiereinheit codierte Daten, in denen die Informationsmenge basierend auf der taktilen Eigenschaft jedes Rezeptors komprimiert wurde.
Dies ermöglicht es, hochempfindliche Frequenzkomponenten für jeden Rezeptor zu extrahieren und andere Komponenten zu entfernen.
Dementsprechend ist es möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit sichergestellt ist, und die Effizienz eines Systems in Bezug auf die taktile Reproduktion zu verbessern.
Darüber hinaus decodiert in der Decodiervorrichtung nach der Ausführungsform die Decodiereinheit codierte Daten, in denen die Informationsmenge durch Extrahieren des repräsentativen Wertes eines orthogonalen Transformationskoeffizienten in der Nähe der Spitzenfrequenz der Empfindlichkeit eines Rezeptors komprimiert wurde.
Der obige repräsentative Wert bedeutet einen typischen Wert des orthogonalen Transformationskoeffizienten in der Nähe der Spitzenfrequenz, wie etwa ein gewichteter Durchschnittswert, ein Medianwert und ein Maximalwert des orthogonalen Transformationskoeffizienten in der Nähe der Spitzenfrequenz. Durch Extrahieren eines solchen repräsentativen Wertes ist es möglich, eine Frequenzkomponente mit hoher Empfindlichkeit des Rezeptors geeignet zu extrahieren.
Dementsprechend ist es möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit sichergestellt ist, und die Effizienz eines Systems in Bezug auf die taktile Reproduktion zu verbessern.
Ferner decodiert in der Decodiervorrichtung nach der Ausführungsform die Decodiereinheit codierte Daten, in denen ein Frequenzindex, der der Spitzenfrequenz der Empfindlichkeit des Rezeptors entspricht, als Frequenzindex des repräsentativen Wertes zugeordnet ist.
Dies ermöglicht es, eine taktile Empfindung entsprechend der Spitzenfrequenz der Empfindlichkeit des Rezeptors effizient darzustellen.
Dementsprechend ist es möglich, die Datenmenge zu verringern, was eine taktile Reproduzierbarkeit sicherzustellt.
Außerdem decodiert in der Decodiervorrichtung nach der Ausführungsform die Decodiereinheit codierte Daten, in denen die Informationsmenge basierend auf der Vorrichtungseigenschaft komprimiert wurde, die die Frequenzeigenschaft der taktilen Darstellungsvorrichtung ist.
Infolgedessen ist es für die taktile Darstellungsvorrichtung möglich, Frequenzkomponenten zu extrahieren, die dazu geeignet sind, taktile Empfindungen effizient darzustellen, und andere Komponenten zu entfernen.
Dementsprechend ist es möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit sichergestellt ist, und die Effizienz eines Systems in Bezug auf die taktile Reproduktion zu verbessern.
Darüber hinaus decodiert in der Decodiervorrichtung nach der Ausführungsform die Decodiereinheit codierte Daten, in denen die Informationsmenge basierend auf den Vorrichtungseigenschaften mehrerer taktiler Darstellungsvorrichtungen komprimiert wurde.
Infolgedessen ist es, in einem Fall der Darstellung einer taktilen Empfindung unter Verwendung einer anderen taktilen Darstellungsvorrichtung für jeden Rezeptor oder unter Verwendung einer anderen taktilen Darstellungsvorrichtung für jede von einer statischen taktilen Empfindung und einer dynamischen taktilen Empfindung, für jede taktile Darstellungsvorrichtung möglich, Frequenzkomponenten zu extrahieren, die eine taktile Empfindung effizient darstellen können, und andere Komponenten zu entfernen.
Dementsprechend ist es in einem Fall, in dem die taktile Empfindung unter Verwendung mehrerer taktiler Darstellungsvorrichtungen dargestellt wird, möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit sichergestellt ist.
Ferner decodiert in der Decodiervorrichtung nach der Ausführungsform die Decodiereinheit codierte Daten, in denen die Informationsmenge durch Extrahieren des repräsentativen Wertes des orthogonalen Transformationskoeffizienten in der Nähe der Spitzenfrequenz der Vorrichtungseigenschaft komprimiert wurde.
Dies ermöglicht es der taktilen Darstellungsvorrichtung, Frequenzkomponenten, die dazu geeignet sind, taktile Empfindungen effizient darzustellen, geeignet zu extrahieren.
Dementsprechend ist es möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit sichergestellt ist, und die Effizienz eines Systems in Bezug auf die taktile Reproduktion zu verbessern.
Außerdem decodiert in der Decodiervorrichtung nach der Ausführungsform die Decodiereinheit codierte Daten, in denen ein Frequenzindex, der der Spitzenfrequenz der Vorrichtungseigenschaft entspricht, als Frequenzindex des repräsentativen Wertes zugeordnet wird.
Dies ermöglicht es, eine taktile Empfindung entsprechend der Spitzenfrequenz der Vorrichtungseigenschaften effizient darzustellen.
Dementsprechend ist es möglich, die Datenmenge zu verringern, was eine taktile Reproduzierbarkeit sicherzustellt.
Darüber hinaus weist die Decodiervorrichtung nach der Ausführungsform eine Informationsübertragungseinheit (Steuereinheit 35 und Kommunikationseinheit 36) auf, die Informationen zum Identifizieren einer Vorrichtungseigenschaft an eine externe Vorrichtung überträgt.
Infolgedessen ist es möglich, die Codiervorrichtung bezüglich Informationen zum Identifizieren der Vorrichtungseigenschaften der taktilen Darstellungsvorrichtung zu informieren.
Dementsprechend ist es möglich, ein taktiles Reproduktionssystem, das verwendet werden kann, bereitzustellen, indem eine taktile Darstellungsvorrichtung durch eine Vorrichtung mit einer anderen Vorrichtungseigenschaft ersetzt wird.
Ferner decodiert in der Decodiervorrichtung nach der Ausführungsform die Decodiereinheit codierte Daten, in denen die Informationsmenge durch Extrahieren des repräsentativen Wertes eines orthogonalen Transformationskoeffizienten aus dem Frequenzband, das der statischen taktilen Empfindung entspricht, und dem Frequenzband, das der dynamischen taktilen Empfindung entspricht, komprimiert wurde.
Infolgedessen ist es in einem Fall eines Reproduzierens sowohl der statischen taktilen Empfindung als auch der dynamischen taktilen Empfindung möglich, die Informationsmenge geeignet zu komprimieren.
Das heißt, es ist möglich, die Datenmenge zu verringern, während die taktile Reproduzierbarkeit sichergestellt ist.
Außerdem decodiert in der Decodiervorrichtung nach der Ausführungsform die Decodiereinheit codierte Daten, bei denen die Frequenz, die den repräsentativen Wert aufweist, der aus dem Frequenzband extrahiert wurde, das der statischen taktilen Empfindung entspricht, niedriger ist als die Frequenz, die den repräsentativen Wert aufweist, der aus dem Frequenzband extrahiert wurde, dass der dynamischen taktilen Empfindung entspricht.
Da die statische taktile Empfindung durch einen niederfrequenten taktilen Stimulus gegeben ist, ist es unwahrscheinlich, dass die Reproduzierbarkeit des taktilen Empfindung abnimmt, selbst wenn die statische taktile Empfindung weniger häufig in den codierten Daten enthalten ist.
Dementsprechend ist es möglich, die Datenmenge weiter zu verringern, während die Abnahme der taktilen Reproduzierbarkeit unterdrückt wird.
Außerdem ist das Decodierverfahren nach der Ausführungsform ein Decodierverfahren zum Decodieren von codierten Daten, die durch Durchführen einer Codierung, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren, erhalten wurden.
Mit einem solchen Decodierverfahren nach der Ausführungsform kann auch eine Operation und ein Effekt erhalten werden, die denen der Decodiervorrichtung, wie in der oben beschriebenen Ausführungsform, ähnlich sind.
Hier können die bisher beschriebenen Funktionen der Codiereinheit (24) und der Decodiereinheit (34) als Softwareverarbeitung durch eine CPU oder dergleichen implementiert werden. Die Softwareverarbeitung wird basierend auf einem Programm ausgeführt, und das Programm wird in einer Speichervorrichtung gespeichert, das von einer Computervorrichtung (Informationsverarbeitungsvorrichtung), wie etwa einer CPU, gelesen werden kann.
Das codierungsseitige Programm nach der Ausführungsform ist ein Programm, das bewirkt, dass eine Informationsverarbeitungsvorrichtung eine Funktion zum Durchführen einer Codierung, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren, erreicht.
Außerdem ist das decodierungsseitige Programm nach der Ausführungsform ein Programm, das bewirkt, dass eine Informationsverarbeitungsvorrichtung eine Funktion zum Decodieren codierter Daten erreicht, die durch Durchführen einer Codierung, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren, erhalten wurden.
Mit diesen Programmen ist es möglich, die Codiervorrichtung und die Decodiervorrichtung nach den oben beschriebenen Ausführungsformen zu implementieren.
Die vorliegende Technologie ist nicht auf die oben genannten spezifischen Beispiele beschränkt.
Beispielsweise wurde oben ein Beispiel für ein Codieren eines taktilen Signals angegeben, das von einem taktilen Sensor detektiert wird. Jedoch kann bei der vorliegenden Technologie das zu codierende taktile Signal ein Signal sein, das künstlich unter Verwendung beispielsweise einer Computervorrichtung oder dergleichen erzeugt wird, und ist nicht auf das von dem taktilen Sensor detektierte taktile Signal beschränkt.
Außerdem gibt das dritte Beispiel ein Beispiel an, in dem ein Frequenzindex, der der Frequenzspitze eines Rezeptors entspricht, einem Frequenzindex des repräsentativen Wertes eines orthogonalen Transformationskoeffizienten zugeordnet wird, der basierend auf einer Eigenschaft des Rezeptors extrahiert wurde. Zu diesem Zeitpunkt kann der Frequenzindex, der dem repräsentativen Wert zugeordnet ist, der basierend auf der Eigenschaft des Rezeptors extrahiert wurde, auch ein Frequenzindex sein, der der Spitzenfrequenz der Vorrichtungseigenschaft entspricht.
Beachte, dass, wie auch unter diesem Punkt zu verstehen ist, die Codierung der Ausführungsform beispielsweise eine Codierung, um die Informationsmenge basierend auf sowohl der taktilen Eigenschaft als auch der Vorrichtungseigenschaft zu komprimieren, sein kann.
Der in der vorliegenden Beschreibung beschriebene Effekt dient lediglich als Veranschaulichung und ist nicht einschränkend. Daher können andere Effekte erhalten werden.
<Vorliegende Technologie>
Beachte, dass die vorliegende Technologie auch auf folgende Weise ausgebildet sein kann.

(1) Eine Decodiervorrichtung, aufweisend eine Decodiereinheit, die codierte Daten decodiert, die durch Durchführen einer Codierung, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren, erhalten wurden.
(2) Die Decodiervorrichtung gemäß dem obigen Punkt (1), in der die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge durch Extrahieren einer Niederfrequenzkomponente komprimiert wurde.
(3) Die Decodiervorrichtung gemäß dem obigen Punkt (1), in der die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge basierend auf einer menschlichen taktilen Eigenschaft komprimiert wurde.
(4) Die Decodiervorrichtung gemäß dem obigen Punkt (1) oder (3), in der die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge durch Extrahieren einer Frequenzkomponente, deren absoluter Wert eines orthogonalen Transformationskoeffizienten gleich oder größer als ein Schwellenwert ist, komprimiert wurde.
(5) Die Decodiervorrichtung gemäß dem obigen Punkt (4), in der der Schwellenwert ein Schwellenwert ist, der basierend auf einer menschlichen taktilen Eigenschaft bestimmt wird.
(6) Die Decodiervorrichtung gemäß dem obigen Punkt (3), in der die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge basierend auf einer taktilen Eigenschaft jedes Rezeptors komprimiert wurde.
(7) Die Decodiervorrichtung gemäß dem obigen Punkt (6), in der die Decodiereinheit die codierten Daten decodiert, in denen eine Informationsmenge durch Extrahieren eines repräsentativen Wertes eines orthogonalen Transformationskoeffizienten in der Nähe einer Spitzenfrequenz einer Empfindlichkeit des Rezeptors komprimiert wurde.
(8) Die Decodiervorrichtung gemäß dem obigen Punkt (7), in der die Decodiereinheit die codierten Daten decodiert, in denen ein Frequenzindex, der der Spitzenfrequenz der Empfindlichkeit des Rezeptors entspricht, als Frequenzindex des repräsentativen Wertes zugeordnet ist.
(9) Die Decodiervorrichtung gemäß den obigen Punkten (1), (2) oder (4), in der die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge basierend auf einer Vorrichtungseigenschaft, die eine Frequenzeigenschaft einer taktilen Darstellungsvorrichtung ist, komprimiert wurde.
(10) Die Decodiervorrichtung gemäß dem obigen Punkt (9), in der die Decodiereinheit die codierten Daten decodiert, in denen eine Informationsmenge basierend auf der Vorrichtungseigenschaft mehrerer taktiler Darstellungsvorrichtungen komprimiert wurde.
(11) Die Decodiervorrichtung gemäß einem der obigen Punkte (9) oder (10), in der die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge durch Extrahieren eines repräsentativen Wertes eines orthogonalen Transformationskoeffizienten in der Nähe einer Spitzenfrequenz der Vorrichtungseigenschaft komprimiert wurde.
(12) Die Decodiervorrichtung gemäß dem obigen Punkt (11), in der die Decodiereinheit die codierten Daten decodiert, in denen ein Frequenzindex, der der Spitzenfrequenz der Vorrichtungseigenschaft entspricht, als Frequenzindex des repräsentativen Wertes zugeordnet ist.
(13) Die Decodiervorrichtung gemäß einem der obigen Punkte (9) bis (12), ferner aufweisend eine Informationsübertragungseinheit, die Informationen zum Identifizieren der Vorrichtungseigenschaft an eine externe Vorrichtung überträgt.
(14) Die Decodiervorrichtung gemäß einem der obigen Punkte (1), (12) oder (13), in der die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge durch Extrahieren eines repräsentativen Wertes eines orthogonalen Transformationskoeffizienten aus einem Frequenzband, das einer statischen taktilen Empfindung entspricht, und einem Frequenzband, das einer dynamischen taktilen Empfindung entspricht, komprimiert wurde.
(15) Die Decodiervorrichtung gemäß dem obigen Punkt (14), in der die Decodiereinheit die codierten Daten decodiert, in denen eine Frequenz, die den repräsentativen Wert aufweist, der aus dem Frequenzband extrahiert wurde, das der statischen taktilen Empfindung entspricht, niedriger eingestellt ist als eine Frequenz, die den repräsentativen Wert aufweist, der aus dem Frequenzband extrahiert wurde, das der dynamischen taktilen Empfindung entspricht.

Bezugszeichenliste

1: taktiles Reproduktionssystem
2: Codiervorrichtung
3: Decodiervorrichtung
5: zweidimensionaler taktiler Sensor
6, 6-1, 6-2: zweidimensionale taktile Darstellungsvorrichtung
24, 24A, 24C, 24D: Codiereinheit
34: Decodiereinheit
35: Steuereinheit
36: Kommunikationseinheit
41: orthogonale Transformationseinheit
42, 42A, 42B, 42C, 42D: Extraktionseinheit
43: Quantisierungseinheit
44: Codierungsverarbeitungseinheit
45: Multiplexeinheit
51: Demultiplexeinheit
52: Decodierungsverarbeitungseinheit
53: inverse Quantisierungseinheit
54: inverse orthogonale Transformationseinheit
Cd: codierte Daten

Claims

Codiervorrichtung, umfassend eine Codiereinheit, die eine Codierung durchführt, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren.
Codierverfahren, umfassend Durchführen einer Codierung, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren.
Programm, das bewirkt, dass eine Informationsverarbeitungsvorrichtung eine Funktion zum Durchführen einer Codierung, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren, erreicht.
Decodiervorrichtung, umfassend eine Decodiereinheit, die codierte Daten decodiert, die durch Durchführen einer Codierung, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren, erhalten wurden.
Decodiervorrichtung nach Anspruch 4, wobei die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge durch Extrahieren einer Niederfrequenzkomponente komprimiert wurde.
Decodiervorrichtung nach Anspruch 4, wobei die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge basierend auf einer menschlichen taktilen Eigenschaft komprimiert wurde.
Decodiervorrichtung nach Anspruch 4, wobei die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge durch Extrahieren einer Frequenzkomponente, deren absoluter Wert eines orthogonalen Transformationskoeffizienten gleich oder größer als ein Schwellenwert ist, komprimiert wurde.
Decodiervorrichtung nach Anspruch 7, wobei der Schwellenwert ein Schwellenwert ist, der basierend auf einer menschlichen taktilen Eigenschaft bestimmt wird.
Decodiervorrichtung nach Anspruch 6, wobei die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge basierend auf einer taktilen Eigenschaft jedes Rezeptors komprimiert wurde.
Decodiervorrichtung nach Anspruch 9, wobei die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge durch Extrahieren eines repräsentativen Wertes eines orthogonalen Transformationskoeffizienten in der Nähe einer Spitzenfrequenz einer Empfindlichkeit des Rezeptors komprimiert wurde.
Decodiervorrichtung nach Anspruch 10, wobei die Decodiereinheit die codierten Daten decodiert, in denen ein Frequenzindex, der der Spitzenfrequenz der Empfindlichkeit des Rezeptors entspricht, als Frequenzindex des repräsentativen Wertes zugeordnet ist.
Decodiervorrichtung nach Anspruch 4, wobei die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge basierend auf einer Vorrichtungseigenschaft, die eine Frequenzeigenschaft einer taktilen Darstellungsvorrichtung ist, komprimiert wurde.
Decodiervorrichtung nach Anspruch 12, wobei die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge basierend auf der Vorrichtungseigenschaft einer Vielzahl von taktilen Darstellungsvorrichtungen komprimiert wurde.
Decodiervorrichtung nach Anspruch 12, wobei die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge durch Extrahieren eines repräsentativen Wertes eines orthogonalen Transformationskoeffizienten in der Nähe einer Spitzenfrequenz der Vorrichtungseigenschaft komprimiert wurde.
Decodiervorrichtung nach Anspruch 14, wobei die Decodiereinheit die codierten Daten decodiert, in denen ein Frequenzindex, der der Spitzenfrequenz der Vorrichtungseigenschaft entspricht, als ein Frequenzindex des repräsentativen Wertes zugeordnet ist.
Decodiervorrichtung nach Anspruch 12, ferner umfassend eine Informationsübertragungseinheit, die Informationen zum Identifizieren der Vorrichtungseigenschaft an eine externe Vorrichtung überträgt.
Decodiervorrichtung nach Anspruch 4, wobei die Decodiereinheit die codierten Daten decodiert, in denen die Informationsmenge durch Extrahieren eines repräsentativen Wertes eines orthogonalen Transformationskoeffizienten aus einem Frequenzband, das einer statischen taktilen Empfindung entspricht, und einem Frequenzband, das einer dynamischen taktilen Empfindung entspricht, komprimiert wurde.
Decodiervorrichtung nach Anspruch 17, wobei die Decodiereinheit die codierten Daten decodiert, in denen eine Frequenz, die den repräsentativen Wert aufweist, der aus dem Frequenzband extrahiert wurde, das der statischen taktilen Empfindung entspricht, niedriger eingestellt ist als eine Frequenz, die den repräsentativen Wert aufweist, der aus dem Frequenzband extrahiert wurde, das der dynamischen taktilen Empfindung entspricht.
Decodierverfahren, umfassend Decodieren von codierten Daten, die durch Durchführen einer Codierung, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren, erhalten wurden.
Programm, das bewirkt, dass eine Informationsverarbeitungsvorrichtung eine Funktion zum Decodieren codierter Daten erreicht, die durch Durchführen einer Codierung, um die Informationsmenge durch orthogonales Transformieren eines zweidimensionalen taktilen Signals basierend auf einem Zeitsignal zu komprimieren, erhalten wurden.