DE112021001491T5

DE112021001491T5 - Decodierer, decodierverfahren, programm, codierer und codierverfahren

Info

Publication number: DE112021001491T5
Application number: DE112021001491.9T
Authority: DE
Inventors: Shuichiro Nishigori; Shiro Suzuki; Hirofumi Takeda; Takahiro Watanabe
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2020-03-04
Filing date: 2021-01-08
Publication date: 2023-01-12
Also published as: US20230131395A1; JPWO2021176842A1; WO2021176842A1; CN115209960A

Abstract

Eine Decodiervorrichtung gemäß der vorliegenden Technologie umfasst Folgendes: eine erste Decodiereinheit, die ein erstes Bandsignal in Bezug auf codierte Daten decodiert, die durch Codieren eines taktilen Signals erhalten werden, wobei das erste Bandsignal ein Signal eines ersten Frequenzbandes in dem taktilen Signal ist, wobei die codierten Daten Daten enthalten, die durch Codieren des ersten Bandsignals erhalten werden, und Tastintensitätsinformationen, die die Tastintensität in Bezug auf ein zweites Frequenzband anzeigen, das sich von dem ersten Frequenzband in dem taktilen Signal unterscheidet, eine zweite Decodiereinheit, die ein zweites Bandsignal, das ein Signal des zweiten Frequenzbandes in dem taktilen Signal ist, auf der Grundlage der Tastintensitätsinformation in den codierten Daten decodiert; und eine Kombinationseinheit, die das erste Bandsignal, das durch die erste Decodiereinheit decodiert wurde, mit dem zweiten Bandsignal, das durch die zweite Decodiereinheit decodiert wurde, kombiniert.

Description

TECHNISCHES GEBIET
Die vorliegende Technologie betrifft einen Decodierer zum Decodieren eines codierten taktilen Signals, ein Verfahren dazu und ein Programm für den Decodierer und einen Encoder zum Codieren eines taktilen Signals, ein Verfahren dazu und ein Programm für den Encoder.
STAND DER TECHNIK
Es werden nun Techniken entwickelt, bei denen ein vom Benutzer getragenes Gerät vibriert, um einen taktilen Reiz auf den Benutzer auszuüben. In dieser Technik bezieht sich der taktile Reiz auf ein physikalisches Phänomen, das den Benutzer durch Vibrationsphänomene oder dergleichen ein Tastgefühl vermittelt. Darüber hinaus wird die Erzeugung des taktilen Reizes als taktile Präsentation bezeichnet.
Die Technik, die eine solche taktile Präsentation verwendet, wird von verschiedenen Geräten in unterschiedlichen Bereichen genutzt. In einem Beispiel vibriert ein mit einem Touchpanel ausgestattetes Endgerät, wie z. B. ein Smartphone, das Touchpanel als Reaktion auf die Berührung durch den Benutzer, um einen taktilen Reiz auf den Finger des Benutzers auszuüben, so dass ein Berührungsgefühl bei der Berührung von auf dem Touchpanel angezeigten Schaltflächen oder dergleichen vermittelt wird. Außerdem kann beispielsweise ein Gerät zum Musikhören, wie ein Kopfhörer, im Takt der Musikwiedergabe einen taktilen Reiz auslösen, um die tiefen Bässe der abgespielten Musik zu betonen. Darüber hinaus kann beispielsweise ein Gerät, das Computerspiele, virtuelle Realität (VR) oder dergleichen bereitstellt, einen Controller oder dergleichen in Schwingung versetzen, um einen taktilen Reiz als Reaktion auf die Betätigung des Controllers oder eine Szene des Inhalts zu erzeugen, wodurch das Eintauchen des Benutzers in den Inhalt verbessert wird.
Außerdem wurde eine Technik entwickelt, mit der ein Benutzer auf der Grundlage eines von einem externen Gerät empfangenen taktilen Signals einen taktilen Reiz erhält. In einem Beispiel offenbart das unten erwähnte Patentdokument 1 eine Technik, bei der ein taktiler Reiz auf einen Benutzer ausgeübt wird, während die Frequenz und Amplitude der Vibration auf der Grundlage eines empfangenen Signals geändert wird.
LISTE DER ANFÜHRUNGEN
PATENTDOKUMENT
Patentdokument 1: Japanische Patentanmeldungs-Offenlegungsnummer 2016- 202486
KURZDARSTELLUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE PROBLEME
In dieser Referenz ist vorgesehen, dass eine Vielzahl von taktilen Präsentationsvorrichtungen für ein taktiles Reproduktionssystem bereitgestellt wird, das taktile Informationen reproduziert und ein taktiler Reiz auf eine Vielzahl von Stellen des menschlichen Körpers angewendet wird.
Die größere Anzahl von Stellen, auf die ein taktiler Reiz ausgeübt wird, erhöht jedoch die Anzahl der Kanäle für taktile Signale, was zu einer Zunahme der Datenmenge führt. Die erhöhte Menge an taktilen Signalen führt unerwünschterweise zu einer erhöhten Verarbeitungslast, Übertragungsverzögerung oder dergleichen bei der taktilen Reproduktion.
Die vorliegende Technologie wurde unter Berücksichtigung der oben genannten Umstände entwickelt und dient dazu, die Datenmenge eines taktilen Signals zu reduzieren und gleichzeitig die taktile Reproduzierbarkeit zu verbessern.
LÖSUNGEN DER PROBLEME
Ein Decoder gemäß der vorliegenden Technologie umfasst eine erste Decodiereinheit, die so ausgebildet ist, dass sie für codierte Daten, die durch Codieren eines taktilen Signals erhalten wurden, ein erstes Bandsignal decodiert, das ein Signal eines ersten Frequenzbandes in dem taktilen Signal ist, wobei die codierten Daten Daten enthalten, die durch Codieren des ersten Bandsignals erhalten wurden, und Taststärkeinformationen, die eine Taststärke für ein zweites Frequenzband anzeigen, das sich von dem ersten Frequenzband in dem taktilen Signal unterscheidet, eine zweite Decodiereinheit, die so ausgebildet ist, dass sie ein zweites Bandsignal, das ein Signal des zweiten Frequenzbandes in dem taktilen Signal ist, auf der Grundlage der Taststärkeinformation in den codierten Daten decodiert, und eine Syntheseeinheit, die so ausgebildet ist, dass sie das von der ersten Decodiereinheit decodierte erste Bandsignal und das von der zweiten Decodiereinheit decodierte zweite Bandsignal synthetisiert.
Diese Konfiguration ermöglicht die Decodierung des taktilen Signals, das sich auf das zweite Frequenzband bezieht, für die codierten Daten, die von dem Encoder gemäß der vorliegenden Technologie erzeugt werden, wobei die Verschlechterung der taktilen Reproduzierbarkeit reduziert oder verhindert wird.
Bei dem Decoder nach der oben beschriebenen vorliegenden Technologie ist es denkbar, dass das erste Frequenzband als Band in einem niedrigeren Frequenzbereich als das zweite Frequenzband eingestellt ist.
Für das Tastsignal im Bereich einer vorbestimmten Frequenz oder mehr nimmt der menschliche Körper eine Variation der Taststärke relativ leicht wahr, aber eine Variation der Frequenzen relativ schwer.
Bei dem Decoder nach der oben beschriebenen vorliegenden Technologie ist es denkbar, dass die Taststärkeinformation für jede Frequenz im zweiten Frequenzband berechnet wird und die zweite Decodiereinheit das zweite Bandsignal auf der Basis eines Gesamtwertes der Taststärken decodiert, der durch die für jede Frequenz berechnete Taststärkeinformation angegeben wird.
Diese Konfiguration ermöglicht es, als Taststärke des zweiten Frequenzbandes eine geeignete Taststärke zu reproduzieren, die auf der Taststärke jeder Frequenz im zweiten Bandsignal vor der Codierung basiert.
Bei dem Decoder nach der oben beschriebenen vorliegenden Technologie ist es denkbar, dass die Taststärkeinformation für eine oder mehrere Hauptfrequenzen im zweiten Frequenzband berechnet wird und die zweite Decodiereinheit das zweite Bandsignal auf der Basis der Taststärke decodiert, die durch die für die Hauptfrequenz berechnete Taststärkeinformation angegeben wird.
Diese Konfiguration ermöglicht es, als Taststärke des zweiten Frequenzbandes eine geeignete Taststärke zu reproduzieren, die auf der Taststärke der Hauptfrequenz im zweiten Bandsignal vor der Codierung basiert.
Bei dem Decoder nach der oben beschriebenen vorliegenden Technologie ist es denkbar, dass die zweite Decodiereinheit die durch die Taststärkeinformation angegebene Taststärke in eine Signalamplitude umwandelt und ein periodisches Signal mit der umgewandelten Signalamplitude als decodiertes Signal des zweiten Bandsignals erzeugt, wobei das periodische Signal eine auf eine Frequenz im zweiten Frequenzband eingestellte Signalfrequenz aufweist.
Diese Konfiguration ermöglicht es, das zweite Bandsignal zu decodieren, um die Verschlechterung der taktilen Reproduzierbarkeit der codierten Daten, die von dem Encoder gemäß der vorliegenden Technologie erzeugt werden, zu verringern oder zu verhindern.
Bei dem Decoder nach der oben beschriebenen vorliegenden Technologie ist es denkbar, dass das periodische Signal eine Frequenz aufweist, die im Wesentlichen mit einer Resonanzfrequenz eines taktilen Präsentationsvorrichtung übereinstimmt.
Diese Konfiguration ermöglicht es, die Effizienz der Ansteuerung der taktilen Präsentationsvorrichtung zu verbessern. Darüber hinaus bezieht sich die taktile Präsentationsvorrichtung hier auf eine Vorrichtung, die eine taktile Präsentation auf der Grundlage des taktilen Signals durchführt, das von dem Decoder gemäß der vorliegenden Technologie erhalten wird.
Bei dem Decoder gemäß der oben beschriebenen vorliegenden Technologie ist es denkbar, dass das periodische Signal eine Frequenz hat, die auf der Grundlage der Tastsensibilitätsmerkmale des menschlichen Körpers eingestellt ist.
Diese Konfiguration ermöglicht es, die Frequenz des periodischen Signals auf eine Frequenz mit hoher Tastsensibilität des menschlichen Körpers einzustellen, wodurch die Effizienz der Ansteuerung der taktilen Präsentationsvorrichtung verbessert wird.
Bei dem Decoder nach der oben beschriebenen vorliegenden Technologie ist es denkbar, dass das periodische Signal eine Frequenz hat, die auf der Grundlage der Hörsensibilitätsmerkmale eines menschlichen Körpers eingestellt ist.
Diese Konfiguration ermöglicht es, die Frequenz des periodischen Signals auf eine Frequenz mit geringer Hörsensibilität des menschlichen Körpers einzustellen, wodurch das Geräusch, das durch die Ansteuerung der taktilen Präsentationsvorrichtung entsteht, reduziert wird.
Bei dem Decoder nach der oben beschriebenen vorliegenden Technologie ist es denkbar, dass die zweite Decodiereinheit die Frequenz des periodischen Signals auf Basis einer Operation einstellt.
Diese Konfiguration ermöglicht es dem Benutzer, die Frequenz des periodischen Signals frei zu wählen.
Ferner umfasst ein Decodierverfahren gemäß der vorliegenden Technologie einen ersten Decodierschritt, bei dem für codierte Daten, die durch Codieren eines taktilen Signals erhalten werden, ein erstes Bandsignal decodiert wird, das ein Signal eines ersten Frequenzbandes in dem taktilen Signal ist, wobei die codierten Daten Daten enthalten, die durch Codieren des ersten Bandsignals erhalten werden, und Taststärkeinformationen, die eine Taststärke für ein zweites Frequenzband anzeigen, das sich von dem ersten Frequenzband in dem taktilen Signal unterscheidet, einen zweiten Decodierschritt des Decodierens eines zweiten Bandsignals, das ein Signal des zweiten Frequenzbandes in dem taktilen Signal ist, auf der Grundlage der Taststärkeinformation in den codierten Daten, und einen Syntheseschritt des Synthetisierens des in dem ersten Decodierschritt decodierten ersten Bandsignals und des in dem zweiten Decodierschritt decodierten zweiten Bandsignals.
Auch mit einem solchen Decodierverfahren können ähnliche Ergebnisse erzielt werden wie mit dem oben beschriebenen Decodierer nach der oben beschriebenen vorliegenden Technologie.
Außerdem ist das erste Programm gemäß der vorliegenden Technologie ein Programm, das eine Informationsverarbeitungsvorrichtung veranlasst, wie folgt zu implementieren: eine erste Decodierfunktion zum Decodieren eines ersten Bandsignals, das ein Signal eines ersten Frequenzbandes in dem taktilen Signal ist, für codierte Daten, die durch Codieren eines taktilen Signals erhalten wurden, wobei die codierten Daten Daten, die durch Codieren des ersten Bandsignals erhalten wurden, und Taststärkeinformationen enthalten, die eine Taststärke für ein zweites Frequenzband anzeigen, das sich von dem ersten Frequenzband in dem taktilen Signal unterscheidet, eine zweite Decodierfunktion zum Decodieren eines zweiten Bandsignals, das ein Signal des zweiten Frequenzbandes in dem taktilen Signal ist, auf der Grundlage der Taststärkeinformation in den codierten Daten; und eine Synthesefunktion zum Synthetisieren des ersten Bandsignals, das durch die erste Decodierfunktion decodiert wurde, und des zweiten Bandsignals, das durch die zweite Decodierfunktion decodiert wurde.
Ein solches erstes Programm gemäß der vorliegenden Technologie ermöglicht die Implementierung des oben beschriebenen Decoders gemäß der oben beschriebenen vorliegenden Technologie.
Ein Encoder gemäß der vorliegenden Technologie umfasst eine Bandaufteilungseinheit, die so ausgebildet ist, dass sie ein Tastsignal in ein erstes Bandsignal, das ein Signal eines ersten Frequenzbandes ist, und ein zweites Bandsignal, das ein Signal eines zweiten Frequenzbandes ist, das sich von dem ersten Frequenzband unterscheidet, aufteilt, eine erste Codiereinheit, die so ausgebildet ist, dass sie das erste Bandsignal codiert, eine Taststärkeberechnungseinheit, die so ausgebildet ist, dass sie Taststärkeinformationen, die eine Taststärke für das zweite Frequenzband anzeigen, auf der Grundlage des zweiten Bandsignals berechnet, und eine Erzeugungseinheit für codierte Daten, die so ausgebildet ist, dass sie codierte Daten erzeugt, die die Taststärkeinformationen und Daten, die durch Codieren des ersten Bandsignals erhalten wurden, enthalten.
Diese Konfiguration ermöglicht es, die Sensibilitätsmerkmale des menschlichen Körpers zu nutzen, um die Kompressionseffizienz der Tastsignalinformationen zu verbessern. Bei den Sensibilitätsmerkmalen sind sowohl die Veränderung der Taststärke als auch die Veränderung der Frequenz in dem vorgegebenen Frequenzband leicht wahrnehmbar, während in einem anderen Frequenzband die Veränderung der Taststärke leicht, die Veränderung der Frequenz jedoch schwer wahrnehmbar ist.
Bei dem Encoder nach der oben beschriebenen vorliegenden Technologie ist es denkbar, dass das erste Frequenzband auf ein Band in einem niedrigeren Frequenzbereich als das zweite Frequenzband eingestellt ist.
Für das Tastsignal im Bereich einer vorbestimmten Frequenz oder mehr nimmt der menschliche Körper eine Variation der Taststärke relativ leicht wahr, aber eine Variation der Frequenzen relativ schwer.
Bei dem Encoder nach der oben beschriebenen vorliegenden Technologie ist es denkbar, dass das erste Frequenzband und das zweite Frequenzband eine Teilungsfrequenz aufweisen, die zwischen dem ersten und zweiten Frequenzband variabel ist.
Die variable Teilungsfrequenz ermöglicht es, das Gleichgewicht zwischen der Verringerung der Datenmenge aufgrund der Codierung und der Verringerung oder Vermeidung einer Verringerung der taktilen Reproduzierbarkeit herzustellen.
Bei dem Encoder gemäß der oben beschriebenen vorliegenden Technologie ist es denkbar, dass die Bandaufteilungseinheit die Teilungsfrequenz in Abhängigkeit von der Stabilität der Kommunikation mit einem externen Gerät ändert.
Diese Konfiguration ermöglicht es, die Teilungsfrequenz zu ändern, um den Effekt der Datenreduzierung zu verstärken, d. h. die Bitrate der Kommunikationsdaten bei instabiler Kommunikation mit dem externen Gerät, an das die codierten Daten übertragen werden, zu verringern. Im Gegensatz dazu ist es bei stabiler Kommunikation möglich, die Teilungsfrequenz zu ändern, um die taktile Reproduzierbarkeit zu verbessern.
Bei dem Encoder gemäß der oben beschriebenen vorliegenden Technologie ist es denkbar, dass die Bandaufteilungseinheit die Teilungsfrequenz in einem Fall, in dem die Kommunikationsstabilität niedriger ist, niedriger ansetzt als in einem Fall, in dem die Kommunikationsstabilität hoch ist.
Diese Konfiguration ermöglicht es, die Teilungsfrequenz zu ändern, um den Datenreduzierungseffekt zu erhöhen, d. h. die Bitrate der Kommunikationsdaten bei instabiler Kommunikation zu senken. Im Gegensatz dazu ist es bei stabiler Kommunikation möglich, die Teilungsfrequenz zu ändern, um die taktile Reproduzierbarkeit zu verbessern.
Bei dem Encoder nach der oben beschriebenen vorliegenden Technologie ist es denkbar, dass die Taststärkeberechnungseinheit die Taststärkeinformation für jede Frequenz im zweiten Frequenzband berechnet.
Diese Konfiguration ermöglicht es, als Taststärke des zweiten Frequenzbandes eine geeignete Taststärke zu reproduzieren, die auf der Taststärke jeder Frequenz im zweiten Bandsignal vor der Codierung basiert.
Bei dem Encoder nach der oben beschriebenen vorliegenden Technologie ist es denkbar, dass die Taststärkeberechnungseinheit die Taststärkeinformationen nur für eine oder mehrere Hauptfrequenzen im zweiten Frequenzband berechnet.
Diese Konfiguration ermöglicht es, als Taststärke des zweiten Frequenzbandes eine geeignete Taststärke zu reproduzieren, die auf der Taststärke der Hauptfrequenz im zweiten Bandsignal vor der Codierung basiert.
Ferner umfasst ein Codierverfahren gemäß der vorliegenden Technologie einen Bandaufteilungsschritt zum Aufteilen eines taktilen Signals in ein erstes Bandsignal, das ein Signal eines ersten Frequenzbandes ist, und ein zweites Bandsignal, das ein Signal eines zweiten Frequenzbandes ist, das sich von dem ersten Frequenzband unterscheidet, einen ersten Codierschritt zum Codieren des ersten Bandsignals, einen Taststärkeberechnungsschritt zum Berechnen von Taststärkeinformationen, die eine Taststärke für das zweite Frequenzband angeben, auf der Grundlage des zweiten Bandsignals, und einen Schritt zum Erzeugen codierter Daten zum Erzeugen codierter Daten, die die Taststärkeinformationen und durch Codieren des ersten Bandsignals erhaltene Daten enthalten.
Auch mit einem solchen Codierverfahren können ähnliche Ergebnisse erzielt werden wie mit dem Encoder nach der oben beschriebenen vorliegenden Technologie.
Außerdem ist das zweite Programm gemäß der vorliegenden Technologie ein Programm, das eine Informationsverarbeitungsvorrichtung veranlasst, wie folgt zu implementieren: eine Bandaufteilungsfunktion zum Aufteilen eines taktilen Signals in ein erstes Bandsignal, das ein Signal eines ersten Frequenzbandes ist, und ein zweites Bandsignal, das ein Signal eines zweiten Frequenzbandes ist, das sich von dem ersten Frequenzband unterscheidet; eine erste Codierfunktion zum Codieren des ersten Bandsignals; eine Taststärkeberechnungsfunktion zum Berechnen von Taststärkeinformationen, die eine Taststärke für das zweite Frequenzband angeben, auf der Grundlage des zweiten Bandsignals; und eine Funktion zum Erzeugen codierter Daten zum Erzeugen codierter Daten, die die Taststärkeinformationen und Daten enthalten, die durch Codieren des ersten Bandsignals erhalten werden.
Ein solches zweites Programm gemäß der vorliegenden Technologie ermöglicht die Implementierung des oben beschriebenen Encoders gemäß der vorliegenden Technologie.
Figurenliste

1 zeigt eine beispielhafte Konfiguration eines taktilen Reproduktionssystems, das einen Encoder und einen Decoder gemäß einer Ausführungsform der vorliegenden Technologie umfasst.
2 ist ein Diagramm, das eine beispielhafte interne Konfiguration des Encoders als eine Ausführungsform beschreibt.
3 ist ein Diagramm, das eine beispielhafte interne Konfiguration der Wiedergabevorrichtung als eine erste Ausführungsform zeigt.
4 ist ein Diagramm, das eine beispielhafte interne Konfiguration des Decoders als eine Ausführungsform beschreibt.
5 ist ein Diagramm, das ein Anwendungsbeispiel des taktilen Reproduktionssystems beschreibt.
6 ist ein Diagramm, das eine Vibrationserkennungsschwellenwertkurve beschreibt.
7 ist ein funktionelles Blockdiagramm, das die Funktionen der Codiereinheit in einer Ausführungsform illustriert.
8 ist ein Diagramm, das die Tastsensibilitätsmerkmale der einzelnen Sinnesrezeptoren des menschlichen Körpers zeigt.
9 ist ein Diagramm zur Beschreibung einer Taststärke.
10 ist ein Diagramm zur Beschreibung einer Hauptfrequenz.
11 ist ein Diagramm, das ein Beispiel für ein Codierungsdatenformat beschreibt.
12 ist ein Diagramm, das eine beispielhafte Datenstruktur der Tastintensitätsinformation beschreibt.
13 ist ein Flussdiagramm, das ein beispielhaftes Verarbeitungsverfahren zur Implementierung einer Codierungstechnik gemäß einer Ausführungsform zeigt.
14 ist ein Diagramm, das ein Beispiel für eine Technik des maschinellen Lernens in einem Fall der Verwendung eines DNN-Modells zur Bestimmung einer Hauptfrequenz beschreibt.
15 ist ein funktionales Blockdiagramm, das die Funktion einer Decodiereinheit gemäß einer Ausführungsform illustriert.
16 ist ein Flussdiagramm, das ein beispielhaftes Verarbeitungsverfahren zur Implementierung einer Decodierungstechnik gemäß einer Ausführungsform zeigt.
17 ist ein Diagramm, das ein Beispiel für die Einstellung der Frequenz eines periodischen Signals als Reaktion auf eine Operation beschreibt.
18 ist ein Diagramm zur Beschreibung eines Beispiels für die Steuerung einer Teilungsfrequenz in Abhängigkeit von der Kommunikationsstabilität.

MODUS ZUM AUSFÜHREN DER ERFINDUNG
Ausführungsformen gemäß der vorliegenden Technologie werden nun in der folgenden Reihenfolge unter Bezugnahme auf die beigefügten Zeichnungen beschrieben.

<1. Überblick über das taktile Reproduktionssystem>
<2. Konfiguration des Encoders>
<3. Konfiguration der Wiedergabevorrichtung>
<4. Konfiguration des Decoders>
<5. Beispiel für die Verwendung des taktilen Reproduktionssystems>
<6. Taktile Reproduktionstechnik nach Ausführungsform>
- [6-1. Aufgaben bezüglich der Übertragung von taktilen Signalen]
- [6-2. Codierungstechnik]
- [6-3. Decodierungstechnik]
- [6-4. Steuerung der Teilungsfrequenz in Abhängigkeit von der Kommunikationsstabilität]
<7. Kurzfassung der Ausführungsformen>
<8. Vorliegende Technologie>

Die hierin verwendeten Begriffe werden nun wie folgt definiert:

- Taktiler Reiz: physikalische Phänomene, die eine Person dazu veranlassen, ein Tastgefühl wahrzunehmen, wie z. B. Vibrationserscheinungen.
- Taktile Präsentation: Erzeugung eines taktilen Reizes.
- Taktile Informationen: Informationen, die über den Tastsinn wahrgenommen werden, z. B. Vibrationsinformationen.
- Tastsignal: ein Signal, das ein Muster von taktilen Reizen darstellt, wie z. B. Signale, die Vibrationswellenformen ausdrücken.
- Taktiler Empfänger: eine Person, die einer taktilen Präsentation ausgesetzt ist.
- Tastsensibilität: Sensibilität, die den Grad der subjektiven Wahrnehmung der Stärke eines taktilen Reizes angibt. Sie hängt von den Rezeptoren und Stellen im menschlichen Körper ab.
- Tastsensibilitätsmerkmale: Merkmale, die sich auf die Tastsensibilität des Menschen beziehen. Sie hängen von den Körperstellen ab (Hände, Gesicht, Füße usw.)
- Codierte Daten: Daten, die durch die Codierung von Signalen entstehen. Sie haben Streams und Frames als spezifischere Konzepte.
- Codierte taktile Daten: Daten, die durch die Codierung von taktilen Signalen erzeugt werden.

<1. Überblick über das taktile Reproduktionssystem>
1 zeigt eine beispielhafte Konfiguration eines taktilen Reproduktionssystems 1, das einen Encoder (Encoder 2) und einen Decoder (Decoder 3) gemäß einer Ausführungsform nach der vorliegenden Technologie umfasst.
Eine Umgebung für die Umsetzung der taktilen Reproduktion gemäß der vorliegenden Ausführungsform kann in eine Aufnahmeumgebung und eine Reproduktionsumgebung unterteilt werden. Die Aufnahmeumgebung codiert ein Tastsignal, das durch das Erfassen taktiler Informationen eines Ziels (taktiler Reiz) erhalten wird, und zeichnet codierte taktile Daten Dc auf, die durch die Codierung erhalten werden. Die Reproduktionsumgebung reproduziert die taktilen Informationen auf der Grundlage eines taktilen Signals, das durch die Decodierung der codierten taktilen Daten Dc erhalten wird.
Wie dargestellt, umfasst das taktile Reproduktionssystem 1 eine Vielzahl von Tastsensoren 5 und einen Encoder 2 in der Aufnahmeumgebung sowie eine Wiedergabevorrichtung 4, einen Decoder 3 und eine Vielzahl von taktilen Präsentationsvorrichtungen 6 in der Reproduktionsumgebung. Der Encoder 2 ist mit den Tastsensoren 5 verbunden. Die Wiedergabevorrichtung 4 kann die codierten taktilen Daten Dc erfassen. Der Decoder 3 kann drahtlos mit der Wiedergabevorrichtung 4 kommunizieren. Die Vielzahl der taktilen Präsentationsvorrichtungen 6 ist mit dem Decoder 3 verbunden.
Der Tastsensor 5 erfasst taktile Reize, wobei in diesem Beispiel ein Vibrationssensor verwendet wird, wie z. B. ein Piezo-Pickup oder ein Beschleunigungssensor. Der Tastsensor kommt mit einem zu erfassenden Zielobjekt, d. h. in diesem Beispiel dem menschlichen Körper, in Kontakt, um eine Vibration oder Bewegung in Form einer Spannungsänderung auszugeben.
In diesem Beispiel sind die jeweiligen Tastsensoren 5 über ein Kabel mit dem Encoder 2 verbunden und an verschiedenen Stellen des menschlichen Körpers, der ein Zielobjekt ist, angebracht, wobei sie einen an jeder Stelle auftretenden taktilen Reiz erfassen.
Der Encoder 2 umfasst beispielsweise einen Computerprozessor wie eine Zentraleinheit (CPU) oder einen Digitalsignalprozessor (DSP). Der Encoder 2 unterzieht ein von jedem Tastsensor 5 gewonnenes Erkennungssignal (Tastsignal) der Codierung nach einem vorgegebenen Datenformat und speichert die daraus resultierenden codierten Tastdaten Dc z. B. in einem internen Speicher.
Die Wiedergabevorrichtung 4 enthält einen Computerprozessor wie eine CPU oder einen DSP und überträgt die erfassten codierten taktilen Daten Dc an den Decoder 3. In einem Beispiel werden die codierten taktilen Daten Dc, die in der Aufnahmeumgebung aufgezeichnet wurden, von der Wiedergabevorrichtung 4 über ein erforderliches Netzwerk wie das Internet, ein Heimnetzwerk, ein lokales Netzwerk (LAN) und ein Satellitenkommunikationsnetzwerk erfasst. Die codierten taktilen Daten Dc können auch von der Wiedergabevorrichtung 4 in Form einer Aufzeichnung auf einem tragbaren Aufzeichnungsmedium erfasst werden.
Der Decoder 3 decodiert die von der Wiedergabevorrichtung 4 empfangenen codierten taktilen Daten Dc und steuert jede der taktilen Präsentationsvorrichtungen 6 auf der Grundlage des durch die Decodierung erhaltenen taktilen Signals.
Die taktile Präsentationsvorrichtung 6 erzeugt einen taktilen Reiz und verwendet in diesem Beispiel eine Vibrationsvorrichtung wie einen Vibrator oder einen Aktuator.
In diesem Beispiel werden die jeweiligen taktilen Präsentationsvorrichtungen 6 an verschiedenen Stellen des menschlichen Körpers eines taktilen Empfängers angebracht und geben den von den entsprechenden Tastsensoren 5 erfassten taktilen Reiz wieder.
In diesem Zusammenhang ist in diesem Beispiel jede taktile Präsentationsvorrichtung 6 mit dem Decoder 3 drahtverbunden. Ein Teil, der in der Abbildung von der gestrichelten Linie umgeben ist, d. h. der Teil, der den Decoder 3 und die taktilen Präsentationsvorrichtungen 6 enthält, ist am taktilen Empfänger angebracht.
Das taktile Reproduktionssystem 1 kann eine Konfiguration sein, bei der die Wiedergabevorrichtung 4 die Funktion des Decoders 3 hat und die Wiedergabevorrichtung 4 mit den jeweiligen taktilen Präsentationsvorrichtungen 6 per Draht verbunden ist. In diesem Fall besteht jedoch die Möglichkeit, dass der taktile Empfänger, der die taktile Präsentationsvorrichtung 6 trägt, belästigt wird. Diese Belästigung kann mit der Anzahl der Stellen, die taktilen Reizen ausgesetzt sind, zunehmen.
Die in 1 dargestellte Konfiguration des taktilen Reproduktionssystems 1 ermöglicht es, eine solche Belästigung des taktilen Empfängers zu vermeiden.
Das in 1 dargestellte taktile Reproduktionssystem 1 gibt dem Tastsensor das Tastgefühl jeder Körperstelle wieder, die von einer Person, die den Tastsensor 5 trägt, wahrgenommen wird, und steht somit auch dann zur Verfügung, wenn beide Personen voneinander entfernt sind.
Außerdem beträgt die Anzahl der Tastsensoren 5 und der taktilen Präsentationsvorrichtungen 6, d. h. die Anzahl der Stellen des menschlichen Körpers, die den taktilen Reiz wahrnehmen und reproduzieren, in der vorliegenden Ausführungsform mindestens drei oder mehr.
<2. Konfiguration des Encoders>
2 ist ein Diagramm, das eine beispielhafte interne Konfiguration des Encoders 2 beschreibt. Darüber hinaus sind in 2 neben dem beispielhaften inneren Aufbau des Encoders 2 auch die Tastsensoren 5 aus 1 dargestellt.
Wie dargestellt, umfasst der Encoder 2 eine Vielzahl von Verstärkern 21, eine Vielzahl von Analog-Digital-(A/D)-Wandlern 22, einen Präprozessor 23, eine Codiereinheit 24, eine Steuereinheit 25, eine Speichereinheit 26, eine Kommunikationseinheit 27 und einen Bus 28. Der Präprozessor 23, die Codiereinheit 24, die Steuereinheit 25, die Speichereinheit 26 und die Kommunikationseinheit 27 sind über den Bus 28 miteinander verbunden und machen Daten untereinander kommunizierbar.
Die von den Tastsensoren 5 erfassten Signale werden den entsprechenden Verstärkern 21 zugeführt, in denen die Erkennungssignale auf einen angemessenen Dynamikbereich eingestellt werden. Anschließend werden die resultierenden Signale in die entsprechenden A/D-Wandler 22 eingegeben, in denen die Signale einer Analog-Digital-(A/D)-Wandlung unterzogen werden.
Die erfassten Signale, die der A/D-Wandlung unterzogen werden (d. h. die von jeder Körperstelle erhaltenen Tastsignale), werden in den Präprozessor 23 eingegeben. Der Präprozessor 23 führt verschiedene digitale Signalverarbeitungen wie Rauschunterdrückung oder Kalibrierung der Sensoreigenschaften des Tastsensors 5 durch.
Jedes taktile Signal, das durch die Signalverarbeitung im Präprozessor 23 gewonnen wird, wird in die Codiereinheit 24 eingegeben.
Die Codiereinheit 24 umfasst z. B. einen DSP. Die Codiereinheit 24 codiert das eingegebene taktile Signal in Übereinstimmung mit einem vorgegebenen Datenformat, um die oben erwähnten codierten taktilen Daten Dc zu erhalten.
Außerdem wird die Codierung des taktilen Signals gemäß der vorliegenden Ausführungsform später beschrieben.
Die Steuereinheit 25 umfasst beispielsweise einen Mikrocomputer mit einer CPU, einem Nur-Lese-Speicher (ROM), einem Direktzugriffsspeicher (RAM) und dergleichen. Die Steuereinheit 25 führt eine Verarbeitung in Übereinstimmung mit einem im ROM gespeicherten Programm aus, um den gesamten Encoder 2 zu steuern.
In einem Beispiel übermittelt die Steuereinheit 25 Daten über die Kommunikationseinheit 27 an eine externe Vorrichtung.
Die Kommunikationseinheit 27 ist in der Lage, Daten mit einer externen Vorrichtung über ein Netzwerk, z. B. das Internet, auszutauschen. Die Steuereinheit 25 ist in der Lage, Daten über die Kommunikationseinheit 27 an eine mit einem Netzwerk verbundene externe Vorrichtung zu übermitteln. Insbesondere können die von der Codiereinheit 24 erhaltenen codierten taktilen Daten Dc über die Kommunikationseinheit 27 an eine externe Vorrichtung übertragen werden.
Die Speichereinheit 26 bezieht sich inklusiv auf eine Speichervorrichtung wie ein Festplattenlaufwerk (HDD) oder ein Solid-State-Laufwerk (SSD) und ist im Encoder 2 zur Speicherung verschiedener Daten angeordnet. In einem Beispiel speichert die Speichereinheit 26 Daten, die für die Steuerung durch die Steuereinheit 25 erforderlich sind. Außerdem können die von der Codiereinheit 24 erhaltenen codierten taktilen Daten Dc in der Speichereinheit 26 unter der Kontrolle der Steuereinheit 25 gespeichert werden.
<3. Konfiguration der Wiedergabevorrichtung>
3 ist ein Diagramm, das eine beispielhafte interne Konfiguration der Wiedergabevorrichtung 4 zeigt.
Wie dargestellt, umfasst die Wiedergabevorrichtung 4 eine Steuereinheit 41, eine Kommunikationseinheit 42, ein Medienlaufwerk 43, eine Speichereinheit 44 und eine drahtlose Kommunikationseinheit 45 sowie einen Bus 46, der diese Komponenten miteinander verbindet, damit sie miteinander kommunizieren können.
Die Steuereinheit 41 umfasst z. B. einen Mikrocomputer mit CPU, ROM, RAM oder dergleichen und steuert die gesamte Wiedergabevorrichtung 4.
Die Kommunikationseinheit 42 ist in der Lage, Daten mit einer externen Vorrichtung über ein Netzwerk, z. B. das Internet, auszutauschen. Die Steuereinheit 41 ist in der Lage, Daten über die Kommunikationseinheit 42 an eine mit einem Netzwerk verbundene externe Vorrichtung zu übermitteln. Insbesondere können die codierten taktilen Daten Dc von der Kommunikationseinheit 42 von einer externen Vorrichtung, z. B. einer Servervorrichtung in einem Netzwerk, empfangen werden.
Das Medienlaufwerk 43 ist eine Lese-/Schreibeinheit, an die ein tragbares Aufzeichnungsmedium angeschlossen werden kann und die in der Lage ist, Daten auf das angeschlossene Aufzeichnungsmedium zu schreiben oder von diesem zu lesen. Beispiele für das vom Medienlaufwerk 43 unterstützte Aufzeichnungsmedium können eine Speicherkarte (z. B. ein tragbarer Flash-Speicher), ein Aufzeichnungsmedium für optische Platten und dergleichen sein.
Das Medienlaufwerk 43 ermöglicht das Auslesen der codierten taktilen Daten Dc, die auf dem tragbaren Aufzeichnungsmedium gespeichert sind.
Die Speichereinheit 44 bezieht sich auf ein Speichermedium wie z. B. eine HDD oder SSD und ist in der Wiedergabevorrichtung 4 zur Speicherung verschiedener Daten angeordnet. In einem Beispiel speichert die Speichereinheit 44 Daten, die die Steuereinheit 41 für die Durchführung der Steuerung benötigt. Außerdem können die vom Medienlaufwerk 43 gelesenen codierten taktilen Daten Dc oder die von der Kommunikationseinheit 42 von einer externen Vorrichtung empfangenen codierten taktilen Daten Dc in der Speichereinheit 44 unter der Kontrolle der Steuereinheit 41 gespeichert werden.
Die drahtlose Kommunikationseinheit 45 führt eine drahtlose Kurzstrecken-Kommunikation unter Verwendung eines vorgegebenen Kommunikationsschemas wie Bluetooth (eingetragenes Markenzeichen) durch.
Dabei steuert die Steuereinheit 41 als Teil der oben beschriebenen Gesamtsteuerung die Kommunikationseinheit 42 so an, dass die Kommunikationseinheit 42 die codierten taktilen Daten Dc empfängt oder steuert das Medienlaufwerk 43 so an, dass das Medienlaufwerk 43 die codierten taktilen Daten Dc liest. Außerdem steuert die Steuereinheit 41 die drahtlose Kommunikationseinheit 45 so, dass die drahtlose Kommunikationseinheit 45 die von der Kommunikationseinheit 42 oder dem Medienlaufwerk 43 erhaltenen verschlüsselten taktilen Daten Dc an den Decoder 3 überträgt.
<4. Konfiguration des Decoders>
4 ist ein Diagramm, das eine beispielhafte interne Konfiguration des Decoders 3 beschreibt und zusätzlich zu der beispielhaften internen Konfiguration des Decoders 3 jede taktile Präsentationsvorrichtung 6 zeigt.
Wie dargestellt, umfasst der Decoder 3 eine Vielzahl von Verstärkern 31, eine Vielzahl von Digital-Analog- (D/A) -Wandlern 32, einen Postprozessor 33 und eine Decodiereinheit 34. Der Decoder 3 umfasst außerdem eine Steuereinheit 35, eine drahtlose Kommunikationseinheit 36, eine Speichereinheit 37, eine Bedieneinheit 38, eine Anzeigeeinheit 39 und einen Bus 30. Der Postprozessor 33, die Decodiereinheit 34, die Steuereinheit 35, die drahtlose Kommunikationseinheit 36 und die Speichereinheit 37 sind über den Bus 30 verbunden, so dass die Daten untereinander kommuniziert werden können.
Die Steuereinheit 35 umfasst z. B. einen Mikrocomputer mit CPU, ROM, RAM oder dergleichen und steuert den gesamten Decoder 3.
Die drahtlose Kommunikationseinheit 36 führt eine drahtlose Nahbereichskommunikation mit der drahtlosen Kommunikationseinheit 45 der Wiedergabevorrichtung 4 unter Verwendung eines Kommunikationsverfahrens wie Bluetooth durch. Die drahtlose Kommunikationseinheit 36 empfängt die codierten taktilen Daten Dc, die von der Wiedergabevorrichtung 4 übertragen werden.
Die Speichereinheit 37 ist beispielsweise eine Speichervorrichtung ähnlich der Speichereinheit 26, der Speichereinheit 44 oder dergleichen und speichert verschiedene Daten, die von der Steuereinheit 35 oder dergleichen verwendet werden.
Die Bedieneinheit 38 bezieht sich auf verschiedene Bediener oder Handler wie Knöpfe, Tasten und ein Touchpanel (Touchsensor), die im Decoder 3 vorhanden sind, und gibt Bedienungseingabeinformationen, die der Bedienungseingabe entsprechen, an die Steuereinheit 35 aus.
Die Anzeigeeinheit 39 umfasst eine Anzeigevorrichtung, wie z. B. ein Flüssigkristalldisplay (LCD) oder ein organisches Elektrolumineszenz-(EL)-Display, und zeigt verschiedene Arten von Informationen, wie z. B. Bildinformationen, auf der Grundlage einer Anweisung von der Steuereinheit 35 an.
Die Decodiereinheit 34 decodiert die codierten taktilen Daten Dc, die über die drahtlose Kommunikationseinheit 36 eingegeben werden, mit einer später beschriebenen Technik, um ein taktiles Signal für jede Körperstelle zu erhalten. Das von der Decodiereinheit 34 erfasste taktile Signal für jede Stelle wird in den Postprozessor 33 eingegeben.
Der Postprozessor 33 führt eine Signalverarbeitung durch, wie z. B. eine Kalibrierung der taktilen Präsentationsvorrichtung 6 oder eine vorher festgelegte Filterung des taktilen Eingangssignals für jede Körperstelle, falls erforderlich.
Die vom Postprozessor 33 verarbeiteten taktilen Signale werden den entsprechenden D/A-Wandlern 32 zugeführt, in denen die Signale einer Digital-Analog-(D/A)-Wandlung unterzogen werden. Anschließend werden die Signale in den entsprechenden Verstärkern 31 auf einen angemessenen Dynamikbereich eingestellt und an die entsprechenden taktilen Präsentationsvorrichtungen 6 ausgegeben.
Diese Konfiguration ermöglicht es, die jeweiligen taktilen Präsentationsvorrichtungen 6 auf Basis des taktilen Signals anzusteuern und den zu erfassenden taktilen Reiz auf den taktilen Empfänger in der Erkennungsumgebung zu übertragen (d. h. reproduzierbare taktile Information).
Obwohl nur das taktile Signal Gegenstand der obigen Beschreibung ist, ist es auch möglich, Audiosignale oder Videosignale zusammen mit dem taktilen Signal aufzuzeichnen, um dem taktilen Empfänger einen Ton oder ein Bild zusammen mit der taktilen Information zu liefern.
<5. Beispiel für die Verwendung des taktilen Reproduktionssystems>
Denkbar ist die Wiedergabe von Inhalten, die neben Video auch eine taktile Präsentation ermöglicht.
5 ist ein Diagramm zur Beschreibung eines Anwendungsbeispiels des taktilen Reproduktionssystems 1.
In 5 werden codierte Daten als Inhalt Cnt aufgezeichnet, indem sie synchron zu einem Video aufgezeichnet werden. Diese codierten Daten werden vom Encoder 2 für die Codierung eines taktilen Signals erhalten, das von den taktilen Sensoren 5 (in der Abbildung ein taktiler Sensor 5b für den Oberkörper, ein taktiler Sensor 5h für die Finger und ein taktiler Sensor 5f für die Füße) aufgezeichnet wird, die an einer Person Hm1 angebracht sind, die bei der Erstellung des Inhalts zusätzlich zum Video eine taktile Empfindung aufnimmt. Bei der Wiedergabe wird der aufgezeichnete Inhalt Cnt an den Decoder 3 übertragen, z. B. über Drahtloskommunikation, und die Decodiereinheit 34 des Decoders 3 decodiert den empfangenen Inhalt Cnt. Diese Konfiguration ermöglicht es, die taktile Präsentation auf der Grundlage der entsprechenden taktilen Signale über die taktilen Präsentationsvorrichtungen 6 (in der Abbildung eine taktile Präsentationsvorrichtung 6b für den Oberkörper, eine taktile Präsentationsvorrichtung 6h für die Finger und eine taktile Präsentationsvorrichtung 6f für die Füße) durchzuführen, die von einer Person Hm2 getragen werden, die der taktile Empfänger ist.
Beispiele für Szenen, in denen die taktile Empfindung im Video tatsächlich präsentiert wird, sind eine Szene, in der eine Figur schlägt (geschlagen wird), mit einer Waffe schießt (erschossen wird), von einem Sturm getroffen wird oder spürt, wie der Boden bebt.
In der Figur sind Wellenformen des taktilen Signals für den Rumpf, die Hände und die Füße als konkretes Beispiel für das taktile Signal im Inhalt dargestellt. In der Szene, in der die Person Hm1 einen Gegner mit einem Gewehr erschießt, werden die Vibrationen, die durch den Rückstoß der abgefeuerten Kugel veranlasst werden, an den Fingern sichtbar. In der Szene, in der der Gegner der Person Hm1 ebenfalls mit einer Pistole in den Rumpf (seinen Körper) schießt, wird die Vibration, die durch den Aufprall des angeschossenen Rumpfes verursacht wird, im Rumpf erzeugt. In der Szene, in der ein Erdbeben auftritt, überträgt sich die Vibration des Bodens allmählich auf die Füße, den Oberkörper und die Finger.
In einem Beispiel wird bei der Wiedergabe solcher Inhalte die taktile Empfindung durch Vibration zusätzlich zu Video und Audio wiedergegeben, so dass die Person Hm2 als taktiler Empfänger eine hochwertige Realität erleben kann.
<6. Taktile Reproduktionstechnik nach Ausführungsform>
[6-1. Aufgaben bezüglich der Übertragung von taktilen Signalen]
Es wird nun eine taktile Reproduktionstechnik gemäß einer Ausführungsform beschrieben.
Als erstes ist die taktile Reproduktionstechnik gemäß einer Ausführungsform zu beschreiben, die sich an den taktilen Eigenschaften des Menschen orientiert.
Die in 6 dargestellte Vibrationserkennungsschwellenwertkurve ist als Referenz für die Tastsensibilität des Menschen bekannt. Darüber hinaus stellt in 6 die horizontale Achse die Frequenz, und die vertikale Achse die Größe des taktilen Reizes dar (in diesem Beispiel wird die Vibration als Verschiebung dargestellt). Die Vibrationserkennungsschwellenwertkurve in 6 basiert auf den experimentellen Ergebnissen, die in dem Artikel „Four channels mediate the mechanical aspects of touch“ von S.J. Bolanowski, 1988, beschrieben sind.
Die in 6 dargestellte Vibrationserkennungsschwellenwertkurve ist ein Beispiel für die experimentelle Untersuchung, ob eine Person die Vibration als taktile Empfindung, d. h. die Tastsensibilität, wahrnimmt oder nicht. Der Mensch kann eine Vibration, die kleiner ist als die in dieser Kurve gezeigte, nicht als taktile Empfindung wahrnehmen.
6 zeigt, dass die Frequenz mit der höchsten Tastsensibilität des Menschen in der Regel bei etwa 200 Hertz (Hz) liegt. Daher sind Vorrichtungen oder Anwendungen, die Vibrationen erzeugen, oft so ausgelegt, dass sie Vibrationen bis zu etwa 200 Hz erzeugen.
Andererseits ist allgemein bekannt, dass der Mensch eine Vibration mit einer Frequenz von bis zu etwa 1 Kilohertz (kHz) als taktile Empfindung wahrnehmen kann, auch wenn dies in den Ergebnissen von 6 nicht dargestellt ist. Der Mensch kann eine Vibration mit einer Frequenzkomponente von etwa 1 kHz und eine Vibration ohne Frequenzkomponente von etwa 1 kHz als unterschiedliche taktile Empfindungen wahrnehmen.
In einem Beispiel umfasst die Vibration, die beim Öffnen des Korkens einer Flasche erzeugt wird, eine Vibration mit einer Frequenz von bis zu mehreren kHz. Wird eine solche Vibration mit einer Frequenz von bis zu mehreren hundert Hertz von der Vorrichtung, die die taktile Empfindung vermittelt, auf den Benutzer übertragen, so kann dieser die Vibration nicht als taktile Empfindung mit einem befriedigenden Realitätssinn empfinden, wenn er den Korken der Flasche abzieht.
Daher ist es notwendig, die taktile Empfindung durch Vibration mit einer Frequenz von bis zu ca. 1 kHz zu präsentieren, um dem Benutzer ein realistischeres taktiles Erlebnis zu bieten.
Durch die Erweiterung der Bandbreite der im Signal enthaltenen Frequenz erhöht sich jedoch die Datenmenge im Signal, so dass eine Verzögerung bei der Übertragung oder beim Empfang des Signals wahrscheinlicher wird. Mit anderen Worten, die verbesserte Qualität der taktilen Empfindung kann dazu führen, dass die taktile Empfindung nicht zum richtigen Zeitpunkt präsentiert wird.
Verzögerungen bei der Übertragung oder beim Empfang des Signals und bei der taktilen Präsentation werden anhand eines konkreten Beispiels beschrieben.
Zunächst wird die Menge der taktilen Signaldaten beschrieben. Bei der Übertragung eines taktilen Signals zwischen Vorrichtungen wird das taktile Signal zunächst in digitale Daten umgewandelt. Die Kapazität digitaler Daten wird durch die pro Zeiteinheit übertragene oder verarbeitete Bittiefe, d. h. eine Bitrate B, dargestellt. In diesem Zusammenhang hängt die Tastsensibilität nicht nur von der Frequenz der Vibration, sondern auch von der Amplitude ab. In einem Beispiel zeigen die oben erwähnten experimentellen Ergebnisse von 6, dass die vom Menschen wahrgenommene Amplitude der Vibration ungefähr 50 Dezibel (dB) (Bereich von -20 dB bis 30 dB) oder mehr beträgt und die Frequenz ungefähr 1000 Hz beträgt. Unter Berücksichtigung der Verteilung der vom Menschen tatsächlich wahrgenommenen taktilen Informationen wird davon ausgegangen, dass die Amplitude der Vibration etwa 70 dB beträgt.
Bei der Umwandlung des taktilen Signals TS in digitale Daten mittels linearer Puls-Code-Modulation (LPCM) beträgt die durch 1 Bit ausdrückbare Schwingungsamplitude 6 dB. Mit anderen Worten: Für eine Schwingungsamplitude von 70 dB sind 12 Bit erforderlich. Bei einer Schwingungsfrequenz von 1000 Hz hingegen ist die Abtastfrequenz auf 2000 Hz zu verdoppeln, und die Bitrate B0 ergibt sich aus Formel (1) wie folgt: $\begin{array}{l} B0 = 12 Bit / Abstastung \times 2000 Abstastung / s = 24 \\ Kbit / s \end{array}$
Dieser Wert ist sehr viel kleiner als z. B. die Bitrate = 700 Kbit/s pro Kanal (kbps/ch) einer Compact Disc (CD), die ein repräsentatives Format für Audiosignale ist, so dass dieses taktile Signal, wenn es zusätzlich in ein System integriert wird, kaum ein nennenswertes Problem darstellen dürfte.
Wie bereits erwähnt, ist jedoch bekannt, dass die Bandbreite des vom Menschen wahrnehmbaren taktilen Signals bis zu mehreren kHz reicht. Bei der Reproduktion eines taktilen Signals mit bis zu 2000 Hz beträgt die Bitrate beispielsweise 48 Kbit/s, was dem Doppelten der Formel (1) entspricht.
Außerdem ist die taktile Empfindung über die gesamte Oberfläche des menschlichen Körpers verteilt, anders als der Sehsinn (zwei Augen) und der Hörsinn (zwei Ohren). Betrachtet man nur die Fingerspitzen beider Hände, so sind es zehn Stellen, die abgetastet werden müssen, und wenn die taktilen Signale aller Fingerspitzen verarbeitet werden sollen, erhöht sich die Bitrate um das Zehnfache auf 480 Kbit/s. Die erhöhte Anzahl der zu erfassenden Körperstellen in den Gelenken der Handfläche und der Finger wird die Bitrate deutlich erhöhen.
Außerdem ist das taktile Signal im Grunde ein eindimensionales Signal. Das physikalische Phänomen der Vibration kann jedoch auf drei Achsen (x, y, z) erfasst werden. Um sie alle zu verarbeiten, ist eine dreimal so hohe Bitrate von 1440 Kbit/s erforderlich, und dieser Wert übersteigt sogar die Bitrate von 1411 Kbit/s bei Audio-CDs.
Auf diese Weise steigt die Gesamtmenge der zu verwendenden taktilen Signaldaten in dem Maße, in dem sich die Reproduzierbarkeit des taktilen Reizes verbessert und die Anzahl der Stellen des Benutzers, die den taktilen Reiz anwenden, zunimmt. Der Anstieg der Gesamtdatenmenge führt dann zu einer starken Belastung des Netzwerksystems, das das taktile Signal überträgt.
Außerdem sind auch andere Faktoren als die oben beschriebene Gesamtdatenmenge als Faktor für die Verzögerung denkbar.
In einem Beispiel können bei der Übertragung des taktilen Signals mittels drahtloser Kommunikation die codierten Daten des taktilen Signals aufgrund von Störungen oder dergleichen auf der Übertragungsleitung verloren gehen. Im Falle eines Datenverlustes werden die Daten von einer Vorrichtung auf der Sendeseite erneut übertragen, und es kann zu einer Verzögerung der Zeit kommen, die die Empfängerseite benötigt, um den Empfang der Daten abzuschließen. Mit anderen Worten, die erhöhte Kapazität der neu zu übertragenden Daten erhöht die Zeit, die für die erneute Übertragung der Daten als Reaktion auf den Datenverlust benötigt wird, was zu einer weiteren Verzögerung der Zeit führt, bis die Übertragung oder der Empfang des taktilen Signals normal abgeschlossen ist.
Kommt es auf diese Weise zu einer Verzögerung bei der Übertragung des taktilen Signals, nimmt die Reproduzierbarkeit der taktilen Empfindung in einigen Fällen ab. Insbesondere kann eine Situation entstehen,
in der der taktile Reiz nicht mit dem Inhalt anderer Sinneseindrücke, wie z. B. Bilder und Töne, synchronisiert ist, weil der taktile Reiz dem Benutzer nicht zu geeigneten Zeitpunkten angeboten wird.
Im Folgenden wird die Anwendung auf einen bestimmten drahtlosen Kommunikationsmodus unter Berücksichtigung der oben genannten Situation beschrieben.
Eine Vorrichtung, die eine taktile Präsentation durchführt, wird in Kontakt mit dem Benutzer installiert, und es ist allgemein erwünscht, drahtlos mit anderen Vorrichtungen zu kommunizieren, was das Gewicht der Vorrichtung betrifft. Bei der Verwendung von drahtlosen Breitband-Kommunikationsdiensten wie Wi-Fi (eingetragenes Markenzeichen) wird der Akku der Vorrichtung jedoch im Hinblick auf den Stromverbrauch immer größer, so dass der Benutzerkomfort wahrscheinlich abnimmt. Außerdem dauert es bei der Verwendung von Wi-Fi (eingetragenes Markenzeichen) in der Regel eine gewisse Zeit von der Anforderung der Signalübertragung durch eine Vorrichtung auf der Sendeseite bis zur Verarbeitung des empfangenen Signals in einer Vorrichtung auf der Empfangsseite, so dass es zu Verzögerungen kommen kann, die größer sind als bei anderen drahtlosen Kommunikationsmitteln.
Andererseits kann die drahtlose Kommunikation über kurze Entfernungen, wie z. B. Bluetooth (eingetragenes Markenzeichen), im Vergleich zu anderen drahtlosen Kommunikationsmitteln mit geringem Stromverbrauch und geringer Verzögerung erfolgen, so dass sie für die Übertragung des taktilen Signals als geeignet angesehen wird. Bei der drahtlosen Kommunikation über kurze Entfernungen ist die zulässige Datenmenge, die gleichzeitig übertragen werden kann, jedoch geringer als bei anderen drahtlosen Kommunikationsarten. Bei der Übertragung von Inhalten, die einen taktilen Reiz auf den Nutzer ausüben und mit Video oder Ton synchronisiert werden, ist beispielsweise eine Situation denkbar, in der die für die Übertragung des taktilen Signals vorgesehene Kommunikationskapazität nicht ausreicht.
Soll dem Nutzer neben dem Video- oder Audiostreaming-Dienst über das Internet auch eine taktile Empfindung übermittelt werden, kann die für die Übertragung taktiler Signale zugewiesene Übertragungskapazität nicht ausreichen, z. B. aufgrund der Dienstgütefunktion (QoS), die dem Leitungszustand des Netzes entspricht.
In Anbetracht der oben genannten Umstände soll mit der vorliegenden Ausführungsform eine Verringerung der Verzögerungen des taktilen Signals und eine Vermeidung der Verschlechterung der taktilen Reproduzierbarkeit erreicht werden, indem die Menge der übertragenen Daten reduziert wird, ohne die taktile Reproduzierbarkeit so weit wie möglich zu beeinträchtigen.
[6-2. Codierungstechnik]
7 ist ein funktionales Blockdiagramm, das die Funktionen der Codiereinheit 24 veranschaulicht.
Wie dargestellt, umfasst die Codiereinheit 24 eine Signaleingabeeinheit 24a, eine Bandaufteilungseinheit 24b, eine Niederfrequenzsignal-Codiereinheit 24c, eine Taststärkeberechnungseinheit 24d, einen Multiplexer 24e und eine Signalausgabeeinheit 24f.
Die Signaleingabeeinheit 24a empfängt als Eingabe taktile Signale einer vorgegebenen Anzahl von Kanälen mit einer festen Anzahl von Abtastungen für jedes Signal. Im Folgenden wird ein Fall beschrieben, in dem eine ähnliche Verarbeitung für die jeweiligen Kanäle durchgeführt wird. Außerdem wird das einzugebende taktile Signal auf ein Band von 2 kHz und eine Abtastfrequenz von 4 kHz eingestellt.
Die Signaleingabeeinheit 24a segmentiert das eingegebene taktile Signal in geeignete Verarbeitungsblöcke (z. B. die Anzahl der Abtastwerte für eine Zeitspanne von 5 Millisekunden (ms)).
Dieser segmentierte Verarbeitungsblock wird im Folgenden als „Frame“ bezeichnet. Jede Verarbeitung im Anschluss an die Signaleingabeeinheit 24a erfolgt in Einheiten von Frames.
Die Bandaufteilungseinheit 24b führt eine Bandaufteilungsverarbeitung des Eingangssignals von der Signaleingabeeinheit 24a durch. Konkret wird das Eingangssignal in ein niederfrequentes und ein hochfrequentes Signal unterteilt. Darüber hinaus wird die Teilungsfrequenz bezüglich einer solchen Bandaufteilungsverarbeitung später beschrieben.
Die Niederfrequenzsignal-Codiereinheit 24c empfängt als Eingabe das Niederfrequenzsignal, das durch die Bandaufteilungsverarbeitung in der Bandaufteilungseinheit 24b erhalten wurde, und führt eine Codierungsverarbeitung des Niederfrequenzsignals unter Verwendung einer vorbestimmten Codierungstechnik durch.
In dieser Hinsicht kann die Codierungstechnik für das Niederfrequenzsignal verschiedene Verfahren anwenden, die üblicherweise für die Codierung des Audiosignals verwendet werden, das das gleiche eindimensionale Signal wie das taktile Signal ist. Beispiele hierfür sind MPEG-1 Audio Layer-III (MP3), Advanced Audio Coding (AAC) oder dergleichen sowie ein freier verlustfreier Audiocodec (FLAC), der eine verlustfreie Codierungstechnik darstellt. Außerdem kann die adaptive differentielle Puls-Code-Modulation (ADPCM) oder dergleichen unter Berücksichtigung der Ressourcen für Rechenoperation eingesetzt werden.
Wie oben beschrieben, wird bei der Codierung von Niederfrequenzsignalen nach Möglichkeit eine Codierungstechnik verwendet, bei der die Signalwellenform erhalten bleibt.
Die Taststärkeberechnungseinheit 24d empfängt als Eingabe das von der Bandaufteilungseinheit 24b erhaltene Hochfrequenzsignal und berechnet eine Tastintensität auf der Grundlage des Hochfrequenzsignals.
Darüber hinaus wird die Tastintensität später beschrieben.
Der Multiplexer 24e empfängt als Eingabe die codierten Daten des Niederfrequenzsignals, die von der Niederfrequenzsignal-Codiereinheit 24c erhalten werden (im Folgenden als „codierte Niederfrequenzdaten“ bezeichnet), und die von der Taststärkeberechnungseinheit 24d berechnete Tastintensität. Der Multiplexer 24e codiert verschiedene Arten von Informationen, wie z. B. die codierten Niederfrequenzdaten oder die Tastintensität, als Bitstrom gemäß einem später beschriebenen Codierungsdatenformat von 11. Durch diese Codierung erhält man die codierten taktilen Daten Dc.
Die Signalausgabeeinheit 24f gibt die im Multiplexer 24e gewonnenen codierten taktilen Daten Dc aus.
Die Bandaufteilungseinheit 24b wird im Detail beschrieben.
8 ist ein Diagramm, das die Tastsensibilitätsmerkmale der einzelnen Sinnesrezeptoren des menschlichen Körpers zeigt.
Es sind vier Arten von Sinnesrezeptoren bekannt, die es dem menschlichen Körper ermöglichen, taktile Empfindungen wahrzunehmen, wie in 8 dargestellt. Die Meissner-Korpuskel sind als Geschwindigkeitserkennungsrezeptoren bekannt und reagieren sehr empfindlich auf geringe Frequenzänderungen. So werden Frequenzkomponenten von wenigen Hertz (Hz) bis etwa 100 Hz, in denen Meissner-Korpuskel am ehesten stimuliert werden, so codiert, dass ihre Wellenformen so weit wie möglich erhalten bleiben. Dementsprechend unterteilt die Bandaufteilungseinheit 24b das taktile Signalband in ein Niederfrequenzband von weniger als 100 Hz und ein Hochfrequenzband von 100 Hz oder mehr.
Außerdem kann die Teilungsfrequenz zwischen dem Niederfrequenzband und dem Hochfrequenzband je nach Fall in jede beliebige Frequenz unterteilt werden. Einzelheiten werden später beschrieben.
Nun wird die Taststärkeberechnungseinheit 24d beschrieben.
Bei der menschlichen taktilen Empfindung variiert die vom menschlichen Körper empfundene Stärke mit der Frequenz, was aus den in 6 dargestellten Vibrationserkennungsschwellenwerten ersichtlich ist. Diese Stärke wird quantifiziert und als ein Tastintensitätsmodell modelliert, das in der Fachwelt bekannt ist.
In dieser Beschreibung bezieht sich die Tastintensität (Taststärke) auf die Stärke der taktilen Empfindung, die der menschliche Körper bei der Anwendung eines taktilen Reizes einer bestimmten Größe (Amplitude) empfindet.
9 ist ein Diagramm zur Beschreibung der Tastintensität, wobei 9A ein Graph von T(f) und 9B ein Graph von a(f) ist. In dieser Abbildung bedeutet T(f) eine Vibrationserkennungsschwelle T in Bezug auf eine Frequenz f (z. B. ist die Schwelle T eine Vibrationserkennungsschwelle, die unter Bezugnahme auf 6 beschrieben wird), und a(f) bedeutet einen Koeffizienten a in Bezug auf die Frequenz f.
Aus T(f), a(f) und einer Amplitude A(f) bei der Frequenz f des taktilen Signals ergibt sich eine Tastintensität I(f) bei der Frequenz f nach Formel (2) wie folgt:
[Gleichung 1] $I (f) = {({\frac{A (f)}{T {(f)}^{2}}}^{2})}^{a (f)}$
A(f) ist die Amplitude eines Signals bei der Frequenz f
Handelt es sich bei den Tastintensitäten I um die gleichen Signale, werden die Vibrationsstärken gleich empfunden, auch wenn ihre Frequenzen unterschiedlich sind. Außerdem ist von den in 8 dargestellten taktilen Rezeptoren vor allem das Pacinische Korpuskel dafür bekannt, dass es weniger empfindlich auf Veränderungen der Vibrationsfrequenzen als auf Veränderungen der Vibrationsstärke reagiert. So kann eine Wahrnehmung, die der von hohen Frequenzen von 100 Hz oder mehr entspricht, bei denen das Pacinische Korpuskel am ehesten stimuliert wird, durch Verfolgung der Variation der Tastintensität I erreicht werden.
So wird bei hochfrequenten Signalen von 100 Hz oder mehr ein Wert der Tastintensität I(f) für jede Frequenz aufgezeichnet und nicht die Wellenform selbst.
Darüber hinaus kann in Abhängigkeit von der oben beschriebenen Bandaufteilung eine untere Grenzfrequenz bestimmt werden, bei der die Tastintensität zu berechnen ist.
Bei der Berechnung und Aufzeichnung der taktilen Intensität I für ein Bild wird die Tastintensität I des Hochfrequenzsignals im taktilen Signal für ein Bild als das definite Integral der Frequenz f durch Formel (3) wie folgt angegeben:
[Gleichung 2] $I = \int_{100}^{2000} I (f)$
Wenn man den oben erwähnten Prozess als Digitalsignalverarbeitung betrachtet, wird das Eingangssignal zunächst einer diskreten Fourier-Transformation unterzogen, um ein Spektrum zu erhalten, und dann wird die Tastintensität I(Fbin) für jedes Frequenzband Fbin durch Formel (4) angegeben,
wobei AS(Fbin) der Wert des Amplitudenspektrums in Bezug auf Fbin ist und fFbin die Mittenfrequenz von Fbin ist, wie folgt:
[Gleichung 3] $I (F b i n) = {(\frac{A S {(F b i n)}^{2}}{T {(f F b i n)}^{2}})}^{a (f)}$
Dann wird die Tastintensität I des Hochfrequenzsignals durch Addition von I(Fbin) vom Minimalwert FbinMin bis zum Maximalwert FbinMax des Frequenzbins innerhalb des Tastintensitätsberechnungsbereichs unter Verwendung der Formel (5) wie folgt ermittelt:
[Gleichung 4] $I = \sum_{F b i n M i n}^{F b i n M a x} I (F b i n)$
Darüber hinaus wird im obigen Beispiel eine repräsentative Tastintensität für alle Frequenzen von 100 Hz bis 2 kHz ermittelt. Ist jedoch eine Hauptfrequenz bekannt, die für die taktile Wiedergabe der Eingangssignale wichtig ist, kann die Tastintensität I nur für die Komponente dieser Hauptfrequenz ermittelt werden.
Der hier verwendete Begriff „Hauptfrequenz“ bezeichnet die Frequenz, bei der das Hauptspektrum erhalten werden kann. Das Hauptspektrum ist ein Spektrum, das mindestens das Spektrum als Rauschen ausschließt.
Es wird ein Beispiel für die Ermittlung der Hauptfrequenz mit Hilfe der Frequenzanalyse beschrieben.
Das eingegebene taktile Signal wird zunächst einer diskreten Fourier-Transformation unterzogen, um ein Spektrum zu erhalten, und dann wird die Hauptfrequenz bestimmt, indem der Spitzenwert des Amplitudenspektrums von 100 Hz oder höher untersucht wird.
Wenn in einem Beispiel Spitzenwerte bei den Frequenzkomponenten 500 Hz, 800 Hz und 1000 Hz auftreten, wie in 10 durch die Durchführung der Fourier-Transformation dargestellt, werden diese Frequenzkomponenten von 500 Hz, 800 Hz und 1000 Hz als die Hauptfrequenzen angegeben.
In diesem Zusammenhang kann der Peak z. B. durch die Feststellung erkannt werden, ob das Amplitudenspektrum gleich oder größer als ein vorbestimmter Schwellenwert ist oder nicht. Darüber hinaus ist die Art und Weise, wie der Peak ermittelt wird, nicht auf dieses Beispiel beschränkt und kann z. B. verschiedene bekannte Techniken verwenden.
Wird die Hauptfrequenz angegeben, so wird die Tastintensität I des Hochfrequenzsignals auf der Grundlage der Amplitude A der Hauptfrequenz errechnet. In einem Beispiel, in dem die Hauptfrequenz wie in 10 dargestellt angegeben ist, wird die Tastintensität I durch die nachstehende Formel (6) angegeben:
[Gleichung 5] $I = {(\frac{A {(500)}^{2}}{T {(500)}^{2}})}^{a (500)} + {(\frac{A {(500)}^{2}}{T {(500)}^{2}})}^{a (800)} + {(\frac{A {(1000)}^{2}}{T {(1000)}^{2}})}^{a (1000)}$
Ist dagegen die Hauptfrequenz nicht angegeben, so ergibt sich die Tastintensität I des Hochfrequenzsignals aus Formel (5).
11 ist ein Diagramm, das ein Beispiel für ein Datenformat der codierten taktilen Daten Dc zeigt. In 11 ist ein Datenformat für einen Rahmen codierter taktiler Daten Dc dargestellt.
In diesem Format ist das Synchronisationswort ein Identifikationscode, der den Beginn des Frames darstellt, und für das Synchronisationswort wird ein Muster gespeichert, das möglichst nicht in anderen Daten enthalten ist.
Für eine Abtastfrequenz-ID wird eine Muster-ID für die Abtastfrequenz des taktilen Signals aufgezeichnet.
Für die Anzahl der Kanäle wird die Gesamtzahl der taktilen Signale erfasst.
Bei der Framegröße wird die Größe der codierten taktilen Daten Dc für einen Frame in Bytes angegeben.
Für die Daten des ersten Kanals werden codierte Daten gespeichert, die sich auf das taktile Signal des ersten Kanals beziehen. Für die Daten des ersten Kanals werden die Teilungsfrequenz, codierte Niederfrequenzdaten und Tastintensitätsinformationen gespeichert.
Die Teilungsfrequenz ist die von der Bandaufteilungseinheit 24b verwendete Frequenz, und für die Teilungsfrequenz wird beispielsweise ein numerischer Wert gespeichert, der die Frequenz [Hz] angibt.
Für die codierten Niederfrequenzdaten werden die codierten Daten des Niederfrequenzsignals, das von der Niederfrequenzsignal-Codiereinheit 24c codiert wurde, gespeichert.
Die Tastintensitätsinformationen sind in 12 detailliert dargestellt.
Wie dargestellt, verfügt ein Flag über einen Speicherbereich, in dem die Tastintensitätsinformationen gespeichert werden.
In einem Fall, in dem die Hauptfrequenz auf der Grundlage der oben beschriebenen Spitzenwerterkennung festgelegt wird, d. h. in dem Fall, in dem die Frequenz, bei der die Tastintensität berechnet werden soll, begrenzt wird, wird das Flag auf „1“ gesetzt. In einem Bereich nach dem Flag werden Informationen gespeichert, die eine Kennung der Frequenz, bei der die Tastintensität berechnet werden soll (in der Figur als Kennung der Frequenz A und Kennung der Frequenz B dargestellt), und die Tastintensität I für die Frequenz als Paar enthalten.
Ist dagegen die Hauptfrequenz nicht angegeben und die spezifische Frequenz, bei der die Tastintensität berechnet werden soll, nicht begrenzt, wird das Flag auf „0“ gesetzt. Im folgenden Bereich wird die Tastintensität I jeder Frequenz (jedes Frequenzbins) im Hochfrequenzbereich (von der Teilungsfrequenz bis zur Nyquist-Frequenz) dargestellt: 100 Hz bis 2 kHz (in diesem Beispiel) wird gespeichert. Darüber hinaus kann für die Tastintensität I im Fall von Flag = 0 ein Wert für jede Frequenz oder der Gesamtwert jeder Frequenz, der nach der oben genannten Formel (5) berechnet wurde, gespeichert werden.
Für die Daten des zweiten Kanals werden die codierten Daten, die sich auf das taktile Signal des zweiten Kanals beziehen, mit denselben Spezifikationen wie die Daten des ersten Kanals gespeichert.
Gegebenenfalls werden weitere Kanäle hinzugefügt, und die Informationen werden auf ähnliche Weise gespeichert.
Unter Bezugnahme auf das Flussdiagramm in 13 wird ein beispielhafter Verarbeitungsprozess für die Implementierung der Codierungstechnik gemäß der oben beschriebenen Ausführungsform beschrieben.
Darüber hinaus zeigt dieses Verfahren ein Beispiel, bei dem die Codiereinheit 24 die Verarbeitung zur Implementierung des Codierverfahrens gemäß der Ausführungsform als Software-Verarbeitung ausführt, aber die Gesamtheit oder ein Teil der unten beschriebenen Verarbeitung kann durch Hardware implementiert werden.
Der Prozess der Erzeugung codierter taktiler Daten Dc für ein Frame ist in 13 dargestellt und wird für jedes Frame wiederholt ausgeführt.
In Schritt S101 empfängt die Codiereinheit 24 zunächst als Eingabe ein Signal, das durch Ausschneiden des taktilen Signals für einen zu codierenden Kanal durch die Anzahl der Abtastungen für ein Frame erhalten wird.
In Schritt S102, der auf Schritt S101 folgt, führt die Codiereinheit 24 eine Bandaufteilungsverarbeitung des Eingangssignals unter Verwendung der Teilungsfrequenz durch, um Niederfrequenz- und Hochfrequenzsignale zu erhalten.
In Schritt S103, der auf Schritt S102 folgt, codiert die Codiereinheit 24 das Niederfrequenzsignal, das durch die Bandaufteilungsverarbeitung in Schritt 102 erhalten wurde, unter Verwendung einer vorbestimmten Codiertechnik, wie MP3, AAC, FLAC oder ADPCM, wie oben beschrieben, um codierte Niederfrequenzdaten zu erzeugen.
In Schritt 104, der auf Schritt S103 folgt, bestimmt die Codiereinheit 24, ob der Tastintensitätsbereich das gesamte Hochfrequenzband ist oder nicht. Mit anderen Worten: Die Bestimmung erfolgt danach, ob die Tastintensität für das gesamte Band des Hochfrequenzsignals berechnet wird oder nicht, d. h. ob die Hauptfrequenz wie oben beschrieben angegeben ist oder nicht. Diese Bestimmung basiert auf dem Ergebnis der Analyse des Hochfrequenzsignals, das durch die Bandaufteilungsverarbeitung in Schritt 102 erhalten wurde.
Wenn in Schritt 104 beispielsweise die Hauptfrequenz nicht spezifiziert ist und ein positives Ergebnis (Ja) erzielt wird, dass der Bereich der Tastintensität das gesamte Hochfrequenzband ist, wird die Verarbeitung mit Schritt 105 fortgesetzt. In diesem Schritt berechnet die Codiereinheit 24 die Tastintensität des gesamten Hochfrequenzsignalbands (siehe Formel (5) oben), und dann geht die Verarbeitung zu Schritt S107 über.
Wenn andererseits in Schritt 104 beispielsweise die Hauptfrequenz angegeben wird und ein negatives Ergebnis (Nein) erhalten wird, dass der Tastintensitätsbereich nicht das gesamte Hochfrequenzband ist, wird die Verarbeitung mit Schritt 106 fortgesetzt. In diesem Schritt berechnet die Codiereinheit 24 die Tastintensität der Hauptfrequenz (siehe Formel (6) oben), und dann geht die Verarbeitung zu Schritt S107 über. In der Zwischenzeit speichert die Codiereinheit 24 eine Kennung für die angegebene Hauptfrequenz, wenn die Hauptfrequenz angegeben ist.
In Schritt S107 speichert die Codiereinheit 24 das Flag des aktuellen Kanals (des Kanals, der gerade verarbeitet wird). Insbesondere speichert die Codiereinheit 24 „0“ als Flag des aktuellen Kanals, wenn in Schritt S104 das positive Ergebnis erzielt wird, dass der Tastintensitätsbereich das gesamte Hochfrequenzband ist, und wenn nicht, speichert die Codiereinheit 24 „1“ als Flag des aktuellen Kanals.
In Schritt S108, der auf Schritt S107 folgt, stellt die Codiereinheit 24 fest, ob die Verarbeitung für alle Kanäle abgeschlossen ist oder nicht, d. h. ob die Verarbeitung aus den Schritten S101 bis S107 für alle Kanäle des taktilen Signals abgeschlossen ist oder nicht.
Wenn die Verarbeitung für alle Kanäle nicht abgeschlossen ist, kehrt die Verarbeitung in der Codiereinheit 24 zu Schritt S101 zurück. Durch diese Rückkehr kann eine ähnliche Verarbeitung für einen Frame für den nächsten Kanal ausgeführt werden.
Ist hingegen die Verarbeitung für alle Kanäle abgeschlossen, führt die Codiereinheit 24 in Schritt S109 die Bitstromerzeugung durch und beendet dann die in 13 dargestellte Reihe von Verarbeitungsschritten.
In der Bitstrom-Erzeugungsverarbeitung von Schritt S109 wird Multiplexing in Übereinstimmung mit dem Codierungsdatenformat durchgeführt, das unter Bezugnahme auf die 11 und 12 beschrieben ist, um einen Bitstrom für die codierten taktilen Daten Dc zu erzeugen.
Darüber hinaus kann die Hauptfrequenz trotz des obigen Beispiels der Bestimmung der Hauptfrequenz durch die Erkennung von Spitzenwerten auch mit Hilfe eines Deep Neural Network (DNN) bestimmt werden.
Das konkrete Beispiel wird unter Bezugnahme auf 14 beschrieben.
14 veranschaulicht ein DNN-Modell, bei dem überwachtes Lernen im Voraus unter Verwendung eines Lerndatensatzes durchgeführt wird. Für den Lerndatensatz wird ein Lerneingangsdatensatz als Lerneingangssignal verwendet.
Der Eingangsdatensatz für das Lernen ist das Amplitudenspektrum des taktilen Signals. Im DNN-Modell sind die Eingangsschichten 11 bis In die Mittenfrequenzen der jeweiligen Frequenzbins, und die Eingabe ist der Amplitudenspektrumswert jedes Frequenzbins.
Im DNN-Modell sind die Ausgangsschichten A1 bis An Kombinationen von Hauptfrequenzen für die taktile Reproduktion, und der Lerntrainingsdatensatz ist ein überwachter Datensatz, der den einzelnen Daten des Lerneingangsdatensatzes entspricht und eine vormarkierte Kombination von Hauptfrequenzen für die taktile Reproduktion ist.
Beim Lernen des DNN-Modells wird der Gewichtskoeffizient jeder Kante des DNN-Modells durch die Wahrscheinlichkeit (Likelihood) der Ausgangsschichten A1 bis An bei der Eingabe der Lerneingangsdaten und der Fehlerrückverfolgung der Lerntrainingsdaten aktualisiert.
Bei der Bestimmung der Hauptfrequenz aus dem tatsächlichen taktilen Signal unter Verwendung des DNN-Modells, das auf die oben beschriebene Weise gelernt wurde, wird das taktile Eingangssignal (hochfrequentes Signal) diskret Fourier-transformiert und dann in ein Spektrum umgewandelt. Dann wird das Amplitudenspektrum in das gelernte DNN-Modell eingegeben, und die Ausgabe (Frequenzkombinationsmuster) mit der höchsten Wahrscheinlichkeit in den Ausgangsschichten A1 bis An wird verwendet.
[6-3. Decodierungstechnik]
15 ist ein funktionales Blockdiagramm, das die Funktionen der Decodiereinheit 34 veranschaulicht.
Wie dargestellt, umfasst die Decodiereinheit 34 eine Eingabeeinheit für codierte Daten (34a), einen Demultiplexer (34b), eine Decodiereinheit für Niederfrequenzsignale (34c), eine Tastintensitätserfassungseinheit (34d), eine Hochfrequenzsignal-Erzeugungseinheit (34e), eine Bandsyntheseeinheit (34f) und eine Signalausgabeeinheit (34g) .
Die Eingabeeinheit 34a für codierte Daten empfängt als Eingabe die codierten taktilen Daten Dc für einen Frame. Außerdem kann der Beginn eines Frames anhand des bereits erwähnten Synchronisationsworts erkannt werden.
Der Demultiplexer 34b führt ein Demultiplexing gemäß dem in den 11 und 12 dargestellten Codierungsdatenformat durch, um verschiedene Arten von Informationen zu erfassen, die in den codierten taktilen Daten Dc gespeichert sind.
Die Niederfrequenzsignal-Decodiereinheit 34c decodiert die codierten Niederfrequenzsignaldaten, die vom Demultiplexer 34b erfasst wurden, um ein Niederfrequenzsignal zu erhalten.
Die Tastintensitätserfassungseinheit 34d führt auf der Grundlage der vom Demultiplexer 34b erfassten Tastintensitätsinformationen eine Verarbeitung zur Bestimmung des Flag-Wertes oder eine Tastintensitätserfassungsverarbeitung in Abhängigkeit von dem ermittelten Flag-Wert durch.
Die Hochfrequenzsignal-Erzeugungseinheit 34e erzeugt ein Hochfrequenzsignal auf der Grundlage der von der Tastintensitätserfassungseinheit 34d erfassten Tastintensität. Darüber hinaus wird später beschrieben, wie das Hochfrequenzsignal erzeugt wird.
Die Bandsyntheseeinheit 34f synthetisiert das von der Niederfrequenzsignal-Decodiereinheit 34c erhaltene Niederfrequenzsignal und das von der Hochfrequenzsignal-Erzeugungseinheit 34e erhaltene Hochfrequenzsignal.
Die Signalausgabeeinheit 34g gibt ein taktiles Signal aus, das durch die Synthese in der Bandsyntheseeinheit 34f erhalten wurde.
Es wird die Verarbeitung in der Hochfrequenzsignal-Erzeugungseinheit 34e beschrieben.
Die Verarbeitung in der Hochfrequenzsignal-Erzeugungseinheit 34e variiert je nach dem Wert im Flag.
Bei Flag = 0 wird die Tastintensität für das gesamte Hochfrequenzsignalband ermittelt, und ein periodisches Signal mit einer beliebigen Frequenz fx im Hochfrequenzband wird als Hochfrequenzsignal auf der Grundlage der Tastintensität für das gesamte Band erzeugt.
In dieser Beschreibung bedeutet das periodische Signal ein Signal, dessen Amplitude sich in einer vorbestimmten Periode ändert (zeitliches Signal), und Beispiele dafür sind ein Sinuswellensignal oder dergleichen.
Bei Flag = 0 erzeugt die Hochfrequenzsignal-Erzeugungseinheit 34e ein Hochfrequenzsignal auf der Grundlage der Tastintensität I des Hochfrequenzsignals, d. h. des Gesamtwertes der für jede Frequenz im Hochfrequenzband berechneten Tastintensitäten.
Konkret kann eine Amplitude A(fx) aus der erhaltenen Tastintensität I und einer beliebigen Frequenz fx auf der Grundlage von Formel (2) berechnet werden, so dass ein Hochfrequenzsignal Sl(t) in diesem Fall durch die folgende Formel (7) gegeben ist:
[Gleichung 6] $S 1 (t) = T {(f x)}^{\cdot \frac{1}{I^{2 \cdot a (ƒ x)}}} s i n 2 \cdot π \cdot f x \cdot t$
Wie oben beschrieben, wandelt die Hochfrequenzsignal-Erzeugungseinheit 34e im Fall von Flag = 0 die Tastintensität in die Signalamplitude um und erzeugt das periodische Signal als Hochfrequenzsignal. Das periodische Signal hat die umgewandelte Signalamplitude, und die Signalfrequenz ist die Frequenz fx im Hochfrequenzband.
In diesem Beispiel kann bei Flag = 0 die optionale Frequenz fx im Voraus in der Decodiereinheit 34 eindeutig bestimmt werden.
In einem Beispiel kann die Frequenz fx auf eine Frequenz eingestellt werden, die im Wesentlichen der Resonanzfrequenz der taktilen Präsentationsvorrichtung 6 entspricht. Der hier verwendete Begriff „wesentliche Übereinstimmung“ ist ein Konzept, das auch numerische Werte innerhalb des Bereichs umfasst, der als gleichwertig angesehen wird. Er bezieht sich auf Werte, die zum Frequenzbereich von der vorderen Endseitenfrequenz bis zur hinteren Endseitenfrequenz des auf die Resonanzfrequenz zentrierten Spitzenabschnitts in der Frequenzkennlinie der taktilen Präsentationsvorrichtung 6 gehören, zum Beispiel.
Die Einstellung der Frequenz fx auf eine Frequenz, die im Wesentlichen mit der Resonanzfrequenz der taktilen Präsentationsvorrichtung 6 übereinstimmt, ermöglicht es, den Wirkungsgrad der Ansteuerung der taktilen Präsentationsvorrichtung zu verbessern, wodurch die Energieeinsparung der taktilen Präsentationsvorrichtung 6 erreicht wird.
Darüber hinaus kann die Frequenz fx auch auf der Grundlage der Tastsensibilitätsmerkmale des menschlichen Körpers eingestellt werden. Konkret ist es denkbar, dass die Frequenz fx auf eine Frequenz eingestellt wird, bei der die Tastsensibilität gleich oder größer als ein vorgegebener Wert ist.
Auf diese Weise kann die Frequenz fx auf eine Frequenz mit hoher Tastsensibilität für den menschlichen Körper eingestellt werden, was die Effizienz der Ansteuerung der taktilen Präsentationsvorrichtung 6 erhöht. Auf diese Weise ist es möglich, den Stromverbrauch der taktilen Präsentationsvorrichtung 6 zu senken.
Außerdem kann die Frequenz fx auch auf der Grundlage der Hörsensibilitätsmerkmale des menschlichen Körpers eingestellt werden. Konkret ist es denkbar, dass die Frequenz fx auf eine Frequenz eingestellt wird, bei der die Hörsensibilität gleich oder kleiner als ein vorgegebener Wert ist.
Auf diese Weise kann die Frequenz fx auf eine Frequenz mit geringer Hörsensibilität für den menschlichen Körper eingestellt werden, was zu einer Verringerung der Geräusche führt, die durch die Ansteuerung der taktilen Präsentationsvorrichtung 6 entstehen. So ist es möglich, das Eintauchen des Benutzers in den taktilen Inhalt zu verbessern.
Die Verarbeitung im Falle von Flag = 1 wird beschrieben.
Im Falle von Flag = 1 ermittelt die Tastintensitätserfassungseinheit 34d die Hauptfrequenz und die Tastintensität für die Hauptfrequenz.
In diesem Fall erzeugt die Hochfrequenzsignal-Erzeugungseinheit 34e ein Hochfrequenzsignal auf der Basis der Tastintensität zur Hauptfrequenz.
Wenn die Hauptfrequenzen beispielsweise eine Frequenz A und eine Frequenz B sind, wird ein Hochfrequenzsignal S2 auf der Grundlage von (fa) der Frequenz A, einer Tastintensität (I(fa)) für die Frequenz A, (fb) für die Frequenz B und einer Tastintensität (I(fb)) für die Frequenz B wie in Formel (8) unten angegeben:
[Gleichung 7] $S 2 (t) = T (f a) \cdot I {(f a)}^{^{\frac{1}{2 \cdot a (f a)}}} s i n 2 \cdot π \cdot f a \cdot t + T (f b) \cdot I {(f b)}^{^{\frac{1}{2 \cdot a (f b)}}} s i n 2 \cdot π \cdot f b \cdot t$
Unter Bezugnahme auf das Flussdiagramm in 16 wird ein beispielhafter Verarbeitungsprozess zur Implementierung der Decodierungstechnik gemäß der oben beschriebenen Ausführungsform beschrieben.
Es wird nun ein Beispiel gegeben, bei dem die Decodiereinheit 34 die Verarbeitung zur Implementierung der Decodiertechnik gemäß der Ausführungsform mittels Softwareverarbeitung ausführt, ähnlich wie bei der Codierung. Die gesamte oder ein Teil der im Folgenden beschriebenen Verarbeitung kann jedoch auch durch Hardware realisiert werden.
Die in 16 dargestellte Verarbeitung besteht in der Decodierung eines Bitstroms für einen Frame (die codierten taktilen Daten Dc), um ein taktiles Signal zu erhalten, und wird wiederholt Frame für Frame ausgeführt.
In Schritt S201 analysiert die Decodiereinheit 34 zunächst die codierten taktilen Daten Dc für einen Frame gemäß dem codierten Datenformat. Mit dieser Analyseverarbeitung kann eine Abtastfrequenz anhand der Abtastfrequenz-ID angegeben werden, wobei die Anzahl der Kanäle, die Framegröße und die Daten jedes Kanals ermittelt werden.
In Schritt 202, der auf Schritt S201 folgt, decodiert die Decodiereinheit 34 die in den Zielkanaldaten enthaltenen codierten Niederfrequenzdaten, um ein Niederfrequenzsignal zu erhalten.
In Schritt 203, der auf Schritt S202 folgt, bestimmt die Decodiereinheit 34, ob der Wert des in den Zielkanaldaten enthaltenen Flags 0 ist oder nicht.
Wenn das Flag = 0 ist, geht die Verarbeitung in der Decodiereinheit 34 zu Schritt S204 über, um die Tastintensität des gesamten Hochfrequenzbandes zu erhalten, das in den Daten des Zielkanals enthalten ist, und fährt mit Schritt S206 fort.
Ist das Flag hingegen nicht 0, wird mit Schritt 205 fortgefahren, und die Decodiereinheit 34 erfasst eine Frequenzkennung für die in den Zielkanaldaten enthaltene Hauptfrequenz und eine Tastintensität für die Hauptfrequenz. Dann wird die Verarbeitung mit Schritt S206 fortgesetzt.
In Schritt S206 führt die Decodiereinheit 34 eine Hochfrequenzsignal-Erzeugungsverarbeitung durch. Mit anderen Worten, im Falle von Flag = 0 wird das Hochfrequenzsignal durch die obige Formel (7) auf der Grundlage der in Schritt S204 erfassten Tastintensität des gesamten Hochfrequenzbandes erzeugt. Andererseits wird im Fall von Flag = 1 ein Hochfrequenzsignal durch die obige Formel (8) auf der Grundlage des Frequenzidentifikators der Hauptfrequenz und der in Schritt S205 erfassten Tastintensität erzeugt.
In Schritt S207, der auf Schritt S206 folgt, führt die Decodiereinheit 34 eine Bandsyntheseverarbeitung durch, bei der das in Schritt S202 erhaltene Niederfrequenzsignal und das in Schritt S206 erhaltene Hochfrequenzsignal synthetisiert werden.
In Schritt S208 stellt die Decodiereinheit 34 fest, ob die Verarbeitung für alle Kanäle abgeschlossen ist oder nicht, und kehrt, wenn die Verarbeitung für alle Kanäle nicht abgeschlossen ist, zu Schritt S202 zurück. Durch diese Rückkehr kann die Verarbeitung der Schritte S202 bis S207 für den nächsten Kanal ausgeführt werden. Ist dagegen die Verarbeitung für alle Kanäle abgeschlossen, beendet die Decodiereinheit 34 die in 16 dargestellte Reihe von Verarbeitungsschritten.
In diesem Zusammenhang wird oben das Beispiel der Einstellung einer vorbestimmten Frequenz als Frequenz fx in einem Fall beschrieben, in dem das Flag = 0 ist, aber die Frequenz fx kann auch als Reaktion auf den Vorgang eingestellt werden.
In einem Beispiel kann die Decodiereinheit 34 die Frequenz fx als Reaktion auf die Bedienungseingabe durch die in 4 dargestellte Bedieneinheit 38 einstellen.
17 zeigt ein Beispiel für eine grafische Benutzeroberfläche (GUI) zur Einstellung der Frequenz fx.
17 zeigt ein Beispiel für eine grafische Benutzeroberfläche, die die Einstellung einer Vielzahl von Frequenzen anstelle einer einzelnen Frequenz als Frequenz fx ermöglicht.
In diesem Fall wird ein Einstellbildschirm, wie abgebildet, auf einem Bildschirm 39a der Anzeigeeinheit 39 angezeigt, um den Einstellvorgang der Frequenz fx zu empfangen. Für jeden Kanal des taktilen Signals gibt es auf diesem Einstellbildschirm einen Frequenzeinstellbereich. Im Frequenzeinstellbereich jedes Kanals sind ein Frequenzanzeigefenster 50 (in der Abbildung Anzeigefenster 50a, 50b und 50c für die entsprechenden Frequenzen A, B und C) und ein Schieber 51 (in der Abbildung Schieber 51a, 51b und 51c für die entsprechenden Frequenzen A, B und C) für mehrere einzustellende Frequenzen vorgesehen. Mit dem Schieber können Sie einen Zahlenwert für die Frequenz angeben.
Wenn der Benutzer die Position des Schiebers 51 verändert, ändert sich der Zahlenwert im Frequenzanzeigefenster 50, der dem Schieber 51 entspricht. Auf diese Weise kann der Benutzer jede beliebige Frequenz einstellen, indem er den Schieber 50 betätigt und den im Frequenzanzeigefenster 50 angezeigten Zahlenwert überprüft.
In diesem Beispiel erzeugt die Decodiereinheit 34 bei der Einstellung einer Vielzahl von Frequenzen fx beispielsweise ein periodisches Signal für jede dieser Frequenzen und erzeugt ein Hochfrequenzsignal durch Synthese der erzeugten periodischen Signale.
In diesem Fall wird die Tastintensität jeder Frequenz im Hochfrequenzband als Tastintensitätsinformation im Falle von Flag = 0 in den codierten taktilen Daten Dc gespeichert. Dann führt die Decodiereinheit 34 Berechnungen ähnlich der obigen Formel (8) auf der Grundlage der eingestellten jeweiligen Frequenzen fx und jeder Tastintensität bei diesen Frequenzen fx in der Hochfrequenzsignal-Erzeugungsverarbeitung durch, um das Hochfrequenzsignal zu erzeugen.
Darüber hinaus wird im obigen Beispiel die Frequenz fx des periodischen Signals auf der Grundlage der Eingabe durch die im Decoder 3 vorgesehene Bedieneinheit 38 eingestellt. Es ist jedoch auch möglich, die Frequenz fx auf der Grundlage einer Bedienungseingabe durch eine Bedieneinheit einzustellen, die in einer anderen Vorrichtung als dem Decoder 3 vorgesehen ist. In einem Beispiel ist eine Möglichkeit denkbar, eine Bedieneinheit in die Wiedergabevorrichtung 4 einzubauen und die Frequenz des periodischen Signals in Abhängigkeit von der Bedienungseingabe an die Wiedergabevorrichtung 4 einzustellen.
[6-4. Steuerung der Teilungsfrequenz in Abhängigkeit von der Kommunikationsstabilität]
In diesem Zusammenhang wird oben das Beispiel beschrieben, bei dem die Teilungsfrequenz zwischen dem Niederfrequenzband und dem Hochfrequenzband bei der Bandaufteilungsverarbeitung nach der Codierung festgelegt ist, aber die Teilungsfrequenz kann auch variabel sein.
Es ist denkbar, dass die Teilungsfrequenz erhöht wird, wenn ein Niederfrequenzsignal mit höherer Qualität wiedergegeben werden soll, und die Teilungsfrequenz verringert wird, wenn die Menge der codierten taktilen Daten Dc verringert werden soll. In einem Fall, in dem sich die Kommunikationsstabilität verschlechtert, z. B. bei einer Verschlechterung der Funkwellenbedingungen während der Kommunikation, ist es denkbar, die Teilungsfrequenz als QoS dynamisch zu ändern, indem die Signalqualität gesenkt wird, um die Kommunikationsstabilität zu verbessern.
Unter der Kommunikationsstabilität versteht man in diesem Zusammenhang einen Index für die Stabilität der Kommunikation. Beispiele hierfür sind die Kommunikationsrate (Kommunikationsbitrate), ein Wert, der die Latenz angibt, wie z. B. der Ping-Wert (Umlaufzeit der Kommunikation bis zur Rücksendung eines Antwortpakets vom Kommunikationspartner), die Funkwellenstärke bei der drahtlosen Kommunikation, die Paketverlustrate bei der Paketkommunikation und dergleichen.
Ein Beispiel für die Änderung der Teilungsfrequenz in Abhängigkeit von der Kommunikationsstabilität wird anhand von 18 beschrieben.
In 18 bezieht sich ein Übertragungspuffer auf einen Puffer für die Übertragung durch die Kommunikationseinheit 27 im Encoder 2. Bei der Übertragung der von der Codiereinheit 24 erhaltenen codierten taktilen Daten Dc an eine externe Vorrichtung werden die codierten taktilen Daten Dc im Übertragungspuffer nacheinander paketweise zwischengespeichert.
In diesem Beispiel wird die Kommunikationsstabilität anhand der Anzahl der leeren Zeitschlitze in diesem Übertragungspuffer ermittelt. Insbesondere, wenn sich eine große Menge an Datenpaketen im Übertragungspuffer ansammelt, verschlechtert sich der Kommunikationszustand, und von der Seite des Empfangsvorrichtung (der Empfangsseite der codierten taktilen Daten Dc, z. B. der Wiedergabevorrichtung 4) wird viele Male eine Anforderung zur erneuten Übertragung der Daten gesendet. Es kann also festgestellt werden, dass die Übertragung nicht reibungslos verläuft. Mit anderen Worten, es kann festgestellt werden, dass die Kommunikationsstabilität gering (verschlechtert) ist.
18 zeigt die Teilungsfrequenz für jeden der Fälle, in denen die Kommunikationsstabilität normal ( 18A), gut (18B) und schlecht (18C) ist. Das durch die Teilungsfrequenz bestimmte Niederfrequenzband ist ein Band, in dem die Wellenform nahezu unverändert codiert wird, so dass es als qualitätsorientierter Codierbereich bezeichnet werden kann. Das Hochfrequenzband hingegen ist ein Band, das nur die Tastintensität als Ersatz für die eigentliche Wellenform verwendet, so dass es als effizienzorientierter Codierungsbereich bezeichnet werden kann.
Mit anderen Worten: Wenn die Kommunikationsstabilität gut oder zufriedenstellend ist, ist die Wahrscheinlichkeit von Datenunterbrechungen geringer, selbst wenn die Bitrate hoch ist. Daher wird die Teilungsfrequenz hoch angesetzt (z. B. 500 Hz), um den qualitätsorientierten Codierungsbereich (Niederfrequenzband) so weit wie möglich auszudehnen und die Qualität zu verbessern. In Fällen, in denen die Kommunikationsstabilität schlecht ist oder sich verschlechtert, wird die Teilungsfrequenz niedrig angesetzt (z. B. 100 Hz), um den effizienzorientierten Codierungsbereich (Hochfrequenzband) zu erweitern und die Bitrate zu senken, um Datenunterbrechungen zu vermeiden.
In dem Fall, dass die Teilungsfrequenz in Abhängigkeit von der Kommunikationsstabilität wie oben beschrieben variabel eingestellt wird, führt die Codiereinheit 24 eine Kommunikationsstabilitäts-Bestimmungsverarbeitung (z. B. Bestimmung der drei Zustände „gut“, „normal“ und „schlecht“) und eine Teilungsfrequenz-Einstellungsverarbeitung in Abhängigkeit von einem Ergebnis durch, das durch die Bestimmung auf der Grundlage der Anzahl leerer Schlitze im Übertragungspuffer in der Kommunikationseinheit 27 in der in 13 dargestellten Bandaufteilungsverarbeitung von Schritt S102 erhalten wird.
<7. Kurzfassung der Ausführungsformen>
Wie oben beschrieben, enthält ein Decoder (der Decoder 3) in einer Ausführungsform eine erste Decodiereinheit (Niederfrequenzsignal-Decodiereinheit 34c), die ausgebildet ist, um für codierte Daten (codierte taktile Daten Dc), die durch Codieren eines taktilen Signals erhalten werden, ein erstes Bandsignal zu decodieren, das ein Signal eines ersten Frequenzbandes in dem taktilen Signal ist, wobei die codierten Daten Daten enthalten, die durch Codieren des ersten Bandsignals erhalten werden, und Taststärkeinformationen, die eine Taststärke (Tastintensität) für ein zweites Frequenzband anzeigen, das sich von dem ersten Frequenzband in dem taktilen Signal unterscheidet, eine zweite Decodiereinheit (Hochfrequenzsignal-Erzeugungseinheit 34e), die so ausgebildet ist, dass sie ein zweites Bandsignal, das ein Signal des zweiten Frequenzbandes in dem taktilen Signal ist, auf der Grundlage der Taststärkeinformationen in den codierten Daten decodiert, und eine Syntheseeinheit (Bandsyntheseeinheit 34f), die so ausgebildet ist, dass sie das von der ersten Decodiereinheit decodierte erste Bandsignal und das von der zweiten Decodiereinheit decodierte zweite Bandsignal synthetisiert.
Diese Konfiguration ermöglicht die Decodierung des taktilen Signals, das sich auf das zweite Frequenzband bezieht, für die codierten Daten, die von dem Encoder gemäß einer Ausführungsform erzeugt werden, wobei die Verschlechterung der taktilen Reproduzierbarkeit verringert oder verhindert wird.
Auf diese Weise ist es möglich, die Menge der taktilen Signaldaten zu reduzieren und gleichzeitig eine Verschlechterung der taktilen Reproduzierbarkeit zu verhindern.
Bei einer Ausführungsform des Decoders ist das erste Frequenzband so eingestellt, dass es in einem niedrigeren Frequenzbereich liegt als das zweite Frequenzband.
Für das Tastsignal im Bereich einer vorbestimmten Frequenz oder mehr nimmt der menschliche Körper eine Variation der Taststärke relativ leicht wahr, aber eine Variation der Frequenzen relativ schwer.
So ermöglicht die obige Konfiguration eine Informationskomprimierung des taktilen Signals unter Verwendung der Tastsensibilitätsmerkmale des menschlichen Körpers, was zu einer Verringerung der Datenmenge des taktilen Signals führt und gleichzeitig eine Verschlechterung der Reproduzierbarkeit der taktilen Empfindung verhindert.
Ferner wird in dem Decoder einer Ausführungsform die Taststärkeinformation für jede Frequenz in dem zweiten Frequenzband berechnet, und die zweite Decodiereinheit decodiert das zweite Bandsignal auf der Grundlage eines Gesamtwerts der Taststärken, die durch die für jede Frequenz berechnete Taststärkeinformation angegeben werden (siehe Schritte S204 bis S206 in 16) .
Diese Konfiguration ermöglicht es, als Taststärke des zweiten Frequenzbandes eine geeignete Taststärke zu reproduzieren, die auf der Taststärke jeder Frequenz im zweiten Bandsignal vor der Codierung basiert.
Auf diese Weise lässt sich eine Verschlechterung der taktilen Reproduzierbarkeit verringern oder verhindern.
Darüber hinaus wird bei dem Decoder in einer Ausführungsform die Taststärkeinformation für eine oder mehrere Hauptfrequenzen im zweiten Frequenzband berechnet, und die zweite Decodiereinheit decodiert das zweite Bandsignal auf der Grundlage der Taststärke, die durch die für die Hauptfrequenz berechnete Taststärkeinformation angegeben wird (siehe Schritte S205 bis S206 in 16).
Diese Konfiguration ermöglicht es, als Taststärke des zweiten Frequenzbandes eine geeignete Taststärke zu reproduzieren, die auf der Taststärke der Hauptfrequenz im zweiten Bandsignal vor der Codierung basiert.
Auf diese Weise lässt sich eine Verschlechterung der taktilen Reproduzierbarkeit verringern oder verhindern.
Ferner wandelt die zweite Decodiereinheit in einer Ausführungsform die durch die Taststärkeinformation angegebene Taststärke in eine Signalamplitude um und erzeugt ein periodisches Signal mit der umgewandelten Signalamplitude als ein decodiertes Signal des zweiten Bandsignals, wobei das periodische Signal eine Signalfrequenz aufweist, die auf eine Frequenz im zweiten Frequenzband eingestellt ist (siehe Formel (7)).
Diese Konfiguration ermöglicht es, das zweite Bandsignal zu decodieren, um die Verschlechterung der taktilen Reproduzierbarkeit der codierten Daten, die von dem Encoder gemäß der vorliegenden Technologie erzeugt werden, zu verringern oder zu verhindern.
Auf diese Weise ist es möglich, die Menge der taktilen Signaldaten zu reduzieren und gleichzeitig eine Verschlechterung der taktilen Reproduzierbarkeit zu verhindern.
Außerdem entspricht die Frequenz des periodischen Signals in einer Ausführungsform des Decoders im Wesentlichen der Resonanzfrequenz einer taktilen Präsentationsvorrichtung.
Diese Konfiguration ermöglicht es, die Effizienz der Ansteuerung der taktilen Präsentationsvorrichtung zu verbessern.
Somit ist es möglich, bei der taktilen Präsentationsvorrichtung Strom zu sparen.
Außerdem hat das periodische Signal in dem Decoder in einer Ausführungsform eine Frequenz, die auf der Grundlage der Tastsensibilitätsmerkmale des menschlichen Körpers eingestellt ist.
Diese Konfiguration ermöglicht es, die Frequenz des periodischen Signals auf eine Frequenz mit hoher Tastsensibilität des menschlichen Körpers einzustellen, wodurch die Effizienz der Ansteuerung der taktilen Präsentationsvorrichtung verbessert wird.
Somit ist es möglich, bei der taktilen Präsentationsvorrichtung Strom zu sparen.
Bei einer weiteren Ausführungsform des Decoders wird die Frequenz des periodischen Signals auf der Grundlage der Hörsensibilitätsmerkmale des menschlichen Körpers festgelegt.
Diese Konfiguration ermöglicht es, die Frequenz des periodischen Signals auf eine Frequenz mit geringer Hörsensibilität des menschlichen Körpers einzustellen, wodurch das Geräusch, das durch die Ansteuerung der taktilen Präsentationsvorrichtung entsteht, reduziert wird.
So ist es möglich, das Eintauchen des Benutzers in den taktilen Inhalt zu verbessern.
Ferner stellt in der Ausführungsform des Decoders die zweite Decodiereinheit die Frequenz des periodischen Signals auf der Grundlage einer Operation ein (siehe 17) .
Diese Konfiguration ermöglicht es dem Benutzer, die Frequenz des periodischen Signals frei zu wählen.
Ferner umfasst ein Decodierverfahren in einer Ausführungsform einen ersten Decodierschritt, bei dem für codierte Daten, die durch Codieren eines taktilen Signals erhalten wurden, ein erstes Bandsignal decodiert wird, das ein Signal eines ersten Frequenzbandes in dem taktilen Signal ist, wobei die codierten Daten Daten enthalten, die durch Codieren des ersten Bandsignals erhalten wurden, und Taststärkeinformationen, die eine Taststärke für ein zweites Frequenzband anzeigen, das sich von dem ersten Frequenzband in dem taktilen Signal unterscheidet, einen zweiten Decodierschritt des Decodierens eines zweiten Bandsignals, das ein Signal des zweiten Frequenzbandes in dem taktilen Signal ist, auf der Grundlage der Taststärkeinformation in den codierten Daten, und einen Syntheseschritt des Synthetisierens des in dem ersten Decodierschritt decodierten ersten Bandsignals und des in dem zweiten Decodierschritt decodierten zweiten Bandsignals.
Auch mit einem solchen Decodierverfahren können ähnliche Operationen und Effekte erzielt werden wie mit dem Decoder gemäß den oben beschriebenen Ausführungsformen.
Ferner umfasst ein Encoder in einer Ausführungsform eine Bandaufteilungseinheit (Bandaufteilungseinheit 24b), die so ausgebildet ist, dass sie ein taktiles Signal in ein erstes Bandsignal, das ein Signal eines ersten Frequenzbandes ist, und ein zweites Bandsignal, das ein Signal eines zweiten Frequenzbandes ist, das sich von dem ersten Frequenzband unterscheidet, teilt, eine erste Codiereinheit (Niederfrequenzsignal-Codiereinheit 24c), die so ausgebildet ist, dass sie das erste Bandsignal codiert, eine Taststärkeberechnungseinheit (Taststärkeberechnungseinheit 24d), die so ausgebildet ist, dass sie Taststärkeinformationen, die eine Taststärke für das zweite Frequenzband anzeigen, auf der Grundlage des zweiten Bandsignals berechnet, und eine Erzeugungseinheit für codierte Daten (Multiplexer 24e), die so ausgebildet ist, dass sie codierte Daten (codierte Tastdaten Dc) erzeugt, die die Taststärkeinformationen und Daten, die durch Codieren des ersten Bandsignals erhalten werden, enthalten.
Diese Konfiguration ermöglicht es, die Sensibilitätsmerkmale des menschlichen Körpers zu nutzen, um die Kompressionseffizienz der Tastsignalinformationen zu verbessern. Bei den Sensibilitätsmerkmalen sind sowohl die Veränderung der Taststärke als auch die Veränderung der Frequenz in dem vorgegebenen Frequenzband leicht wahrnehmbar, während in einem anderen Frequenzband die Veränderung der Taststärke leicht, die Veränderung der Frequenz jedoch schwer wahrnehmbar ist.
Auf diese Weise ist es möglich, die Menge der taktilen Signaldaten zu reduzieren und gleichzeitig eine Verschlechterung der taktilen Reproduzierbarkeit zu verhindern.
Bei einer Ausführungsform des Decoders ist das erste Frequenzband so eingestellt, dass es in einem niedrigeren Frequenzbereich liegt als das zweite Frequenzband.
Für das Tastsignal im Bereich einer vorbestimmten Frequenz oder mehr nimmt der menschliche Körper eine Variation der Taststärke relativ leicht wahr, aber eine Variation der Frequenzen relativ schwer.
So ermöglicht die obige Konfiguration eine Informationskomprimierung des taktilen Signals unter Verwendung der Tastsensibilitätsmerkmale des menschlichen Körpers, was zu einer Verringerung der Datenmenge des taktilen Signals führt und gleichzeitig eine Verschlechterung der Reproduzierbarkeit der taktilen Empfindung verhindert.
Ferner weisen in der Ausführungsform des Decodierers das erste Frequenzband und das zweite Frequenzband eine Teilungsfrequenz auf, die zwischen dem ersten und dem zweiten Frequenzband variabel ist.
Die variable Teilungsfrequenz ermöglicht es, das Gleichgewicht zwischen der Verringerung der Datenmenge aufgrund der Codierung und der Verringerung oder Vermeidung einer Verringerung der taktilen Reproduzierbarkeit herzustellen.
Somit ist es selbst in dem Fall, in dem der Effekt der Datenreduzierung aus irgendeinem Grund wichtiger sein soll als die taktile Reproduzierbarkeit, oder in dem Fall, in dem im Gegensatz dazu die taktile Reproduzierbarkeit wichtiger sein soll als der Effekt der Datenreduzierung, möglich, das Gleichgewicht zwischen dem Effekt der Datenreduzierung und dem Effekt der Verhinderung der Verschlechterung der taktilen Reproduzierbarkeit in Abhängigkeit von verschiedenen Umständen zu optimieren.
Außerdem ändert der Decoder in einer Ausführungsform die Teilungsfrequenz in Abhängigkeit von der Stabilität der Kommunikation mit einer externen Vorrichtung (siehe 18).
Diese Konfiguration ermöglicht es, die Teilungsfrequenz zu ändern, um den Effekt der Datenreduzierung zu verstärken, d. h. die Bitrate der Kommunikationsdaten bei instabiler Kommunikation mit dem externen Gerät, an das die codierten Daten übertragen werden, zu verringern. Im Gegensatz dazu ist es bei stabiler Kommunikation möglich, die Teilungsfrequenz zu ändern, um die taktile Reproduzierbarkeit zu verbessern.
Somit ist es möglich, das Gleichgewicht zwischen dem Effekt der Datenreduzierung und dem Effekt der Verhinderung der Verschlechterung der taktilen Reproduzierbarkeit in Abhängigkeit von der Kommunikationsstabilität angemessen anzupassen.
Außerdem senkt der Decoder in einer Ausführungsform die Teilungsfrequenz in einem Fall, in dem die Kommunikationsstabilität niedriger ist, als in einem Fall, in dem die Kommunikationsstabilität hoch ist.
Diese Konfiguration ermöglicht es, die Teilungsfrequenz zu ändern, um den Datenreduzierungseffekt zu erhöhen, d. h. die Bitrate der Kommunikationsdaten bei instabiler Kommunikation zu senken. Im Gegensatz dazu ist es bei stabiler Kommunikation möglich, die Teilungsfrequenz zu ändern, um die taktile Reproduzierbarkeit zu verbessern.
Somit ist es möglich, das Gleichgewicht zwischen der Verringerung oder Verhinderung des Auftretens von Kommunikationsunterbrechungen und der Verringerung oder Verhinderung der Verschlechterung der taktilen Reproduzierbarkeit angemessen anzupassen.
Außerdem berechnet die Taststärkeberechnungseinheit im Decoder in einer Ausführungsform die Taststärkeinformationen für jede Frequenz im zweiten Frequenzband (siehe Schritt S105 in 13).
Diese Konfiguration ermöglicht es, als Taststärke des zweiten Frequenzbandes eine geeignete Taststärke zu reproduzieren, die auf der Taststärke jeder Frequenz im zweiten Bandsignal vor der Codierung basiert.
Auf diese Weise lässt sich eine Verschlechterung der taktilen Reproduzierbarkeit verringern oder verhindern.
Außerdem berechnet der Decoder in einer Ausführungsform, in der die Taststärkeberechnungseinheit die Taststärkeinformationen nur für eine oder mehrere Hauptfrequenzen im zweiten Frequenzband (siehe Schritt S106 in 13).
Diese Konfiguration ermöglicht es, als Taststärke des zweiten Frequenzbandes eine geeignete Taststärke zu reproduzieren, die auf der Taststärke der Hauptfrequenz im zweiten Bandsignal vor der Codierung basiert.
Auf diese Weise lässt sich eine Verschlechterung der taktilen Reproduzierbarkeit verringern oder verhindern.
Ferner umfasst ein Codierverfahren in einer Ausführungsform einen Bandaufteilungsschritt zum Aufteilen eines taktilen Signals in ein erstes Bandsignal, das ein Signal eines ersten Frequenzbandes ist, und ein zweites Bandsignal, das ein Signal eines zweiten Frequenzbandes ist, das sich von dem ersten Frequenzband unterscheidet, einen ersten Codierschritt zum Codieren des ersten Bandsignals, einen Taststärkeberechnungsschritt zum Berechnen von Taststärkeinformationen, die eine Taststärke für das zweite Frequenzband angeben, auf der Grundlage des zweiten Bandsignals, und einen Schritt zum Erzeugen codierter Daten zum Erzeugen codierter Daten, die die Taststärkeinformationen und durch Codieren des ersten Bandsignals erhaltene Daten enthalten.
Auch ein solches Codierungsverfahren gemäß einer Ausführungsform kann ähnliche Operationen und Effekte erzielen wie der Decoder gemäß den oben beschriebenen Ausführungsformen.
Dabei können die oben beschriebenen Funktionen der Codiereinheit (24) und der Decodiereinheit (34) als Software-Verarbeitung durch eine CPU oder dergleichen implementiert werden. Die Software-Verarbeitung wird auf der Grundlage eines Programms ausgeführt.
Das erste Programm als eine Ausführungsform ist ein Programm, das eine Informationsverarbeitungsvorrichtung veranlasst, Folgendes zu implementieren: eine erste Decodierfunktion zum Decodieren eines ersten Bandsignals, das ein Signal eines ersten Frequenzbandes in dem taktilen Signal ist, für codierte Daten, die durch Codieren eines taktilen Signals erhalten wurden, wobei die codierten Daten Daten, die durch Codieren des ersten Bandsignals erhalten wurden, und Taststärkeinformationen enthalten, die eine Taststärke für ein zweites Frequenzband anzeigen, das sich von dem ersten Frequenzband in dem taktilen Signal unterscheidet, eine zweite Decodierfunktion zum Decodieren eines zweiten Bandsignals, das ein Signal des zweiten Frequenzbandes in dem taktilen Signal ist, auf der Grundlage der Taststärkeinformation in den codierten Daten; und eine Synthesefunktion zum Synthetisieren des ersten Bandsignals, das durch die erste Decodierfunktion decodiert wurde, und des zweiten Bandsignals, das durch die zweite Decodierfunktion decodiert wurde.
Die Verwendung eines solchen ersten Programms ermöglicht es, den Decoder gemäß den oben beschriebenen Ausführungsformen zu implementieren.
Ferner ist das zweite Programm in einer Ausführungsform ein Programm, das eine Informationsverarbeitungsvorrichtung veranlasst, Folgendes zu implementieren: eine Bandaufteilungsfunktion zum Aufteilen eines taktilen Signals in ein erstes Bandsignal, das ein Signal eines ersten Frequenzbandes ist, und ein zweites Bandsignal, das ein Signal eines zweiten Frequenzbandes ist, das sich von dem ersten Frequenzband unterscheidet; eine erste Codierfunktion zum Codieren des ersten Bandsignals; eine Taststärkeberechnungsfunktion zum Berechnen von Taststärkeinformationen, die eine Taststärke für das zweite Frequenzband angeben, auf der Grundlage des zweiten Bandsignals; und eine Funktion zum Erzeugen codierter Daten zum Erzeugen codierter Daten, die die Taststärkeinformationen und Daten enthalten, die durch Codieren des ersten Bandsignals erhalten werden.
Die Verwendung eines solchen zweiten Programms ermöglicht es, den Encoder gemäß den oben beschriebenen Ausführungsformen zu implementieren.
Das oben beschriebene erste oder zweite Programm kann im Voraus auf einem Aufzeichnungsmedium aufgezeichnet werden, das in einer Vorrichtung wie einer Computervorrichtung, einem ROM in einem Mikrocomputer mit einer CPU oder dergleichen eingebaut ist.
Alternativ können solche Programme vorübergehend oder dauerhaft auf einem austauschbaren Aufzeichnungsmedium gespeichert (aufgezeichnet) werden, z. B. auf flexiblen Platten, Compact-Disc-Festwertspeichern (CD-ROM), magneto-optischen Platten (MO), Digital Versatile Disc (DVD), Blu-ray-Disc (eingetragenes Markenzeichen), Magnetplatten, Halbleiterspeichern, Speicherkarten oder dergleichen. Solche Wechseldatenträger sind als so genannte Paketsoftware erhältlich.
Außerdem kann das erste oder zweite Programm auf einem Personal Computer oder dergleichen von einem Wechseldatenträger installiert oder von einer Download-Website über ein Netzwerk wie das Internet oder ein lokales Netzwerk (LAN) heruntergeladen werden.
Ferner ist das erste oder zweite Programm für eine breite Palette von Bestimmungen des Decoders oder des Encoders gemäß den Ausführungsformen geeignet. Beispielsweise ermöglicht das Herunterladen des Programms auf einen Personal Computer, eine tragbare Informationsverarbeitungsvorrichtung, ein Mobiltelefon, eine Spielmaschine, ein audiovisuelles (AV) Gerät oder dergleichen, dass der Personal Computer oder dergleichen als Decodierer oder Codierer der vorliegenden Technologie fungiert.
Es ist zu beachten, dass die in der vorliegenden Spezifikation beschriebenen Effekte nur Beispiele sind und nicht beschränkt sind, und dass es auch andere Effekte geben kann.
<8. Vorliegende Technologie>
Zusätzlich kann die vorliegende Technologie auch die folgende Konfiguration annehmen.

(1) Decoder, der Folgendes aufweist:
- eine erste Decodiereinheit, die so ausgebildet ist, dass sie für codierte Daten, die durch Codieren eines taktilen Signals erhalten wurden, ein erstes Bandsignal decodiert, das ein Signal eines ersten Frequenzbandes in dem taktilen Signal ist, wobei die codierten Daten Daten enthalten, die durch Codieren des ersten Bandsignals erhalten wurden, und Taststärkeinformationen, die eine Taststärke für ein zweites Frequenzband anzeigen, das sich von dem ersten Frequenzband in dem taktilen Signal unterscheidet;
- eine zweite Decodiereinheit, die so ausgebildet ist, dass sie ein zweites Bandsignal, das ein Signal des zweiten Frequenzbandes in dem taktilen Signal ist, auf der Grundlage der Taststärkeinformation in den codierten Daten decodiert; und
- eine Syntheseeinheit, die so ausgebildet ist, dass sie das erste Bandsignal, das von der ersten Decodiereinheit decodiert wurde, und das zweite Bandsignal, das von der zweiten Decodiereinheit decodiert wurde, synthetisiert.
(2) Decoder gemäß (1), wobei das erste Frequenzband auf ein Band in einem niedrigeren Frequenzbereich als das zweite Frequenzband eingestellt ist.
(3) Decoder gemäß (1) oder (2), wobei die Taststärkeinformation für jede Frequenz im zweiten Frequenzband berechnet wird, und die zweite Decodiereinheit das zweite Bandsignal auf der Grundlage eines Gesamtwerts der Taststärken, der durch die für jede Frequenz berechnete Taststärkeinformation angegeben wird, decodiert.
(4) Decoder gemäß einem der Punkte (1) oder (2), wobei die Taststärkeinformation für eine oder mehrere Hauptfrequenzen im zweiten Frequenzband berechnet wird, und die zweite Decodiereinheit das zweite Bandsignal auf der Grundlage der Taststärke, die durch die für die Hauptfrequenz berechnete Taststärkeinformation angezeigt wird, decodiert.
(5) Decoder gemäß einem der Punkte (1) bis (3), wobei die zweite Decodiereinheit die durch die Taststärkeinformation angegebene Taststärke in eine Signalamplitude umwandelt und ein periodisches Signal mit der umgewandelten Signalamplitude als decodiertes Signal des zweiten Bandsignals erzeugt, wobei das periodische Signal eine Signalfrequenz aufweist, die auf eine Frequenz im zweiten Frequenzband eingestellt ist.
(6) Decoder gemäß (5), wobei das periodische Signal eine Frequenz hat, die im Wesentlichen mit der Resonanzfrequenz einer taktilen Präsentationsvorrichtung übereinstimmt.
(7) Decoder gemäß (5) oder (6), wobei das periodische Signal hat eine Frequenz, die auf der Grundlage der Tastsensibilitätsmerkmale des menschlichen Körpers festgelegt wird.
(8) Decoder gemäß einem der Punkte (5) bis (7), wobei das periodische Signal eine Frequenz hat, die auf der Grundlage der Hörsensibilitätsmerkmale des menschlichen Körpers festgelegt wird.
(9) Decoder gemäß einem der Punkte (5) bis (8), wobei die zweite Decodiereinheit die Frequenz des periodischen Signals auf der Grundlage einer Operation einstellt.
(10) Decodierungsverfahren, das Folgendes beinhaltet:
- einen ersten Decodierschritt, bei dem für codierte Daten, die durch Codieren eines taktilen Signals erhalten wurden, ein erstes Bandsignal decodiert wird, das ein Signal eines ersten Frequenzbandes in dem taktilen Signal ist, wobei die codierten Daten Daten enthalten, die durch Codieren des ersten Bandsignals erhalten wurden, und Taststärkeinformationen, die eine Taststärke für ein zweites Frequenzband anzeigen, das sich von dem ersten Frequenzband in dem taktilen Signal unterscheidet;
- einen zweiten Decodierschritt zum Decodieren eines zweiten Bandsignals, das ein Signal des zweiten Frequenzbandes in dem taktilen Signal ist, auf der Grundlage der Taststärkeinformation in den codierten Daten; und
- einen Syntheseschritt zum Synthetisieren des im ersten Decodierschritt decodierten ersten Bandsignals und des im zweiten Decodierschritt decodierten zweiten Bandsignals.
(11) Programm, das eine Informationsverarbeitungsvorrichtung veranlasst, Folgendes zu implementieren:
- eine erste Decodierfunktion zum Decodieren eines ersten Bandsignals, das ein Signal eines ersten Frequenzbandes in dem taktilen Signal ist, für codierte Daten, die durch Codieren eines taktilen Signals erhalten wurden, wobei die codierten Daten Daten, die durch Codieren des ersten Bandsignals erhalten wurden, und Taststärkeinformationen enthalten, die eine Taststärke für ein zweites Frequenzband anzeigen, das sich von dem ersten Frequenzband in dem taktilen Signal unterscheidet;
- eine zweite Decodierfunktion zum Decodieren eines zweiten Bandsignals, das ein Signal des zweiten Frequenzbandes in dem taktilen Signal ist, auf der Grundlage der Taststärkeinformation in den codierten Daten; und
- eine Synthesefunktion zum Synthetisieren des von der ersten Decodierfunktion decodierten ersten Bandsignals und des von der zweiten Decodierfunktion decodierten zweiten Bandsignals.
(12) Encoder, der Folgendes aufweist:
- eine Bandaufteilungseinheit, die so ausgebildet ist, dass sie ein taktiles Signal in ein erstes Bandsignal, das ein Signal eines ersten Frequenzbandes ist, und ein zweites Bandsignal, das ein Signal eines zweiten Frequenzbandes ist, das sich von dem ersten Frequenzband unterscheidet, aufteilt;
- eine erste Codiereinheit, die zum Codieren des ersten Bandsignals ausgebildet ist;
- eine Taststärkeberechnungseinheit, die so ausgebildet ist, dass sie Taststärkeinformationen, die eine Taststärke für das zweite Frequenzband anzeigen, auf der Grundlage des zweiten Bandsignals berechnet; und
- eine Einheit zur Erzeugung codierter Daten, die so ausgebildet ist, dass sie codierte Daten erzeugt, die die Taststärkeinformationen und die durch Codierung des ersten Bandsignals erhaltenen Daten enthalten.
(13) Encoder gemäß (12), wobei das erste Frequenzband auf ein Band in einem niedrigeren Frequenzbereich als das zweite Frequenzband eingestellt ist.
(14) Encoder gemäß (12) oder (13), wobei das erste Frequenzband und das zweite Frequenzband eine Teilungsfrequenz haben, die zwischen dem ersten und dem zweiten Frequenzband variabel ist.
(15) Encoder gemäß (14), wobei die Bandaufteilungseinheit die Teilungsfrequenz in Abhängigkeit von der Stabilität der Kommunikation mit einer externen Vorrichtung ändert.
(16) Encoder gemäß (15), wobei die Bandaufteilungseinheit die Teilungsfrequenz in einem Fall, in dem die Kommunikationsstabilität geringer ist, als in einem Fall, in dem die Kommunikationsstabilität hoch ist, senkt.
(17) Encoder gemäß einem der Punkte (12) bis (16), wobei die Taststärkeberechnungseinheit die Taststärkeinformationen für jede Frequenz des zweiten Frequenzbands berechnet.
(18) Encoder gemäß einem der Punkte (12) bis (16), wobei die Taststärkeberechnungseinheit die Taststärkeinformationen nur für eine oder mehrere Hauptfrequenzen im zweiten Frequenzband berechnet.
(19) Codierungsverfahren, das Folgendes beinhaltet:
- einen Bandaufteilungsschritt zum Aufteilen eines taktilen Signals in ein erstes Bandsignal, das ein Signal eines ersten Frequenzbandes ist, und ein zweites Bandsignal, das ein Signal eines zweiten Frequenzbandes ist, das sich von dem ersten Frequenzband unterscheidet;
- einen ersten Codierungsschritt zur Codierung des ersten Bandsignals;
- einen Taststärkeberechnungsschritt zum Berechnen von Taststärkeinformationen, die eine Taststärke für das zweite Frequenzband angeben, auf der Grundlage des zweiten Bandsignals; und
- einen Schritt zur Erzeugung codierter Daten, bei dem codierte Daten erzeugt werden, die die Taststärkeinformationen und die durch Codierung des ersten Bandsignals erhaltenen Daten enthalten.
(20) Programm, das eine Informationsverarbeitungsvorrichtung veranlasst, Folgendes zu implementieren:
- eine Bandaufteilungsfunktion zum Aufteilen eines taktilen Signals in ein erstes Bandsignal, das ein Signal eines ersten Frequenzbandes ist, und ein zweites Bandsignal, das ein Signal eines zweiten Frequenzbandes ist, das sich von dem ersten Frequenzband unterscheidet;
- eine erste Codierungsfunktion zur Codierung des ersten Bandsignals;
- eine Taststärkeberechnungsfunktion zum Berechnen von Taststärkeinformationen, die eine Taststärke für das zweite Frequenzband angeben, auf der Grundlage des zweiten Bandsignals; und
- eine Funktion zur Erzeugung codierter Daten, die codierte Daten einschließlich der Taststärkeinformationen und Daten, die durch Codierung des ersten Bandsignals erhalten wurden, erzeugt.

Bezugszeichenliste

1: Taktiles Reproduktionssystem
2: Encoder
3: Decoder
5: Tastsensor
6: Taktile Präsentationsvorrichtung
Dc: Codierte taktile Daten
24: Codiereinheit
25: Steuereinheit
26: Speichereinheit
27: Kommunikationseinheit
34: Decodiereinheit
35: Steuereinheit
38: Bedieneinheit
39: Anzeigeeinheit
41: Steuereinheit
42: Kommunikationseinheit
24a: Signaleingabeeinheit
24b: Bandaufteilungseinheit
24c: Niederfrequenzsignal-Codiereinheit
24d: Taststärkeberechnungseinheit
24e: Multiplexer
34a: Eingabeeinheit für codierte Daten
34b: Demultiplexer
34c: Niederfrequenzsignal-Decodiereinheit
34d: Tastintensitätserfassungseinheit
34e: Hochfrequenzsignal-Erzeugungseinheit
34f: Bandsyntheseeinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2016202486 [0005]

Claims

Decoder, der Folgendes umfasst: eine erste Decodiereinheit, die so ausgebildet ist, dass sie für codierte Daten, die durch Codieren eines taktilen Signals erhalten wurden, ein erstes Bandsignal decodiert, das ein Signal eines ersten Frequenzbandes in dem taktilen Signal ist, wobei die codierten Daten Daten enthalten, die durch Codieren des ersten Bandsignals erhalten wurden, und Taststärkeinformationen, die eine Taststärke für ein zweites Frequenzband anzeigen, das sich von dem ersten Frequenzband in dem taktilen Signal unterscheidet; eine zweite Decodiereinheit, die so ausgebildet ist, dass sie ein zweites Bandsignal, das ein Signal des zweiten Frequenzbandes in dem taktilen Signal ist, auf der Grundlage der Taststärkeinformation in den codierten Daten decodiert; und eine Syntheseeinheit, die so ausgebildet ist, dass sie das erste Bandsignal, das von der ersten Decodiereinheit decodiert wurde, und das zweite Bandsignal, das von der zweiten Decodiereinheit decodiert wurde, synthetisiert.
Decoder gemäß Anspruch 1, wobei das erste Frequenzband auf ein Band in einem niedrigeren Frequenzbereich als das zweite Frequenzband eingestellt ist.
Decoder gemäß Anspruch 1, wobei die Taststärkeinformation für jede Frequenz im zweiten Frequenzband berechnet wird, und die zweite Decodiereinheit das zweite Bandsignal auf der Grundlage eines Gesamtwerts der Taststärken decodiert, der durch die für jede Frequenz berechnete Taststärkeinformation angegeben wird.
Decoder gemäß Anspruch 1, wobei die Taststärkeinformation für eine oder mehrere Hauptfrequenzen im zweiten Frequenzband berechnet wird, und die zweite Decodiereinheit das zweite Bandsignal auf der Grundlage der Taststärke decodiert, die durch die für die Hauptfrequenz berechnete Taststärkeinformation angezeigt wird.
Decoder gemäß Anspruch 1, wobei die zweite Decodiereinheit die durch die Taststärkeinformation angegebene Taststärke in eine Signalamplitude umwandelt und ein periodisches Signal mit der umgewandelten Signalamplitude als decodiertes Signal des zweiten Bandsignals erzeugt, wobei das periodische Signal eine Signalfrequenz aufweist, die auf eine Frequenz im zweiten Frequenzband eingestellt ist.
Decoder gemäß Anspruch 5, wobei das periodische Signal eine Frequenz hat, die im Wesentlichen mit der Resonanzfrequenz einer taktilen Präsentationsvorrichtung übereinstimmt.
Decoder gemäß Anspruch 5, wobei das periodische Signal eine Frequenz hat, die auf der Grundlage der Tastsensibilitätsmerkmale des menschlichen Körpers eingestellt ist.
Decoder gemäß Anspruch 5, wobei das periodische Signal eine Frequenz hat, die auf der Grundlage der Hörsensibilitätsmerkmale des menschlichen Körpers eingestellt ist.
Decoder gemäß Anspruch 5, wobei die zweite Decodiereinheit die Frequenz des periodischen Signals auf der Grundlage einer Operation einstellt.
Decodierungsverfahren, das Folgendes umfasst: einen ersten Decodierschritt, bei dem für codierte Daten, die durch Codieren eines taktilen Signals erhalten wurden, ein erstes Bandsignal decodiert wird, das ein Signal eines ersten Frequenzbandes in dem taktilen Signal ist, wobei die codierten Daten Daten enthalten, die durch Codieren des ersten Bandsignals erhalten wurden, und Taststärkeinformationen, die eine Taststärke für ein zweites Frequenzband anzeigen, das sich von dem ersten Frequenzband in dem taktilen Signal unterscheidet; einen zweiten Decodierschritt zum Decodieren eines zweiten Bandsignals, das ein Signal des zweiten Frequenzbandes in dem taktilen Signal ist, auf der Grundlage der Taststärkeinformation in den codierten Daten; und einen Syntheseschritt zum Synthetisieren des im ersten Decodierschritt decodierten ersten Bandsignals und des im zweiten Decodierschritt decodierten zweiten Bandsignals.
Programm, das eine Informationsverarbeitungsvorrichtung veranlasst, Folgendes zu implementieren: eine erste Decodierfunktion zum Decodieren eines ersten Bandsignals, das ein Signal eines ersten Frequenzbandes in dem taktilen Signal ist, für codierte Daten, die durch Codieren eines taktilen Signals erhalten wurden, wobei die codierten Daten Daten, die durch Codieren des ersten Bandsignals erhalten wurden, und Taststärkeinformationen enthalten, die eine Taststärke für ein zweites Frequenzband anzeigen, das sich von dem ersten Frequenzband in dem taktilen Signal unterscheidet; eine zweite Decodierfunktion zum Decodieren eines zweiten Bandsignals, das ein Signal des zweiten Frequenzbandes in dem taktilen Signal ist, auf der Grundlage der Taststärkeinformation in den codierten Daten; und eine Synthesefunktion zum Synthetisieren des von der ersten Decodierfunktion decodierten ersten Bandsignals und des von der zweiten Decodierfunktion decodierten zweiten Bandsignals.
Encoder, der Folgendes umfasst: eine Bandaufteilungseinheit, die so ausgebildet ist, dass sie ein taktiles Signal in ein erstes Bandsignal, das ein Signal eines ersten Frequenzbandes ist, und ein zweites Bandsignal, das ein Signal eines zweiten Frequenzbandes ist, das sich von dem ersten Frequenzband unterscheidet, aufteilt; eine erste Codiereinheit, die zum Codieren des ersten Bandsignals ausgebildet ist; eine Taststärkeberechnungseinheit, die so ausgebildet ist, dass sie Taststärkeinformationen, die eine Taststärke für das zweite Frequenzband anzeigen, auf der Grundlage des zweiten Bandsignals berechnet; und eine Einheit zur Erzeugung codierter Daten, die so ausgebildet ist, dass sie codierte Daten erzeugt, die die Taststärkeinformationen und die durch Codierung des ersten Bandsignals erhaltenen Daten enthalten.
Encoder gemäß Anspruch 12, wobei das erste Frequenzband auf ein Band in einem niedrigeren Frequenzbereich als das zweite Frequenzband eingestellt ist.
Encoder gemäß Anspruch 12, wobei das erste Frequenzband und das zweite Frequenzband eine Teilungsfrequenz haben, die zwischen dem ersten und dem zweiten Frequenzband variabel ist.
Encoder gemäß Anspruch 14, wobei die Bandaufteilungseinheit die Teilungsfrequenz in Abhängigkeit von der Stabilität der Kommunikation mit einer externen Vorrichtung ändert.
Encoder gemäß Anspruch 15, wobei die Bandaufteilungseinheit die Teilungsfrequenz in einem Fall, in dem die Kommunikationsstabilität geringer ist, als in einem Fall, in dem die Kommunikationsstabilität hoch ist, senkt.
Encoder gemäß Anspruch 12, wobei die Taststärkeberechnungseinheit die Taststärkeinformationen für jede Frequenz des zweiten Frequenzbands berechnet.
Encoder gemäß Anspruch 12, wobei die Taststärkeberechnungseinheit die Taststärkeinformationen nur für eine oder mehrere Hauptfrequenzen im zweiten Frequenzband berechnet.
Codierungsverfahren, das Folgendes umfasst: einen Bandaufteilungsschritt zum Aufteilen eines taktilen Signals in ein erstes Bandsignal, das ein Signal eines ersten Frequenzbandes ist, und ein zweites Bandsignal, das ein Signal eines zweiten Frequenzbandes ist, das sich von dem ersten Frequenzband unterscheidet; einen ersten Codierungsschritt zur Codierung des ersten Bandsignals; einen Taststärkeberechnungsschritt zum Berechnen von Taststärkeinformationen, die eine Taststärke für das zweite Frequenzband angeben, auf der Grundlage des zweiten Bandsignals; und einen Schritt zur Erzeugung codierter Daten, bei dem codierte Daten erzeugt werden, die die Taststärkeinformationen und die durch Codierung des ersten Bandsignals erhaltenen Daten enthalten.
Programm, das eine Informationsverarbeitungsvorrichtung veranlasst, Folgendes zu implementieren: eine Bandaufteilungsfunktion zum Aufteilen eines taktilen Signals in ein erstes Bandsignal, das ein Signal eines ersten Frequenzbandes ist, und ein zweites Bandsignal, das ein Signal eines zweiten Frequenzbandes ist, das sich von dem ersten Frequenzband unterscheidet; eine erste Codierungsfunktion zur Codierung des ersten Bandsignals; eine Taststärkeberechnungsfunktion zum Berechnen von Taststärkeinformationen, die eine Taststärke für das zweite Frequenzband angeben, auf der Grundlage des zweiten Bandsignals; und eine Funktion zur Erzeugung codierter Daten, die codierte Daten einschließlich der Taststärkeinformationen und Daten, die durch Codierung des ersten Bandsignals erhalten wurden, erzeugt.