DE112021002539T5

DE112021002539T5 - Decodiervorrichtung, decodierverfahren, programm, codiervorrichtung und codierverfahren

Info

Publication number: DE112021002539T5
Application number: DE112021002539.2T
Authority: DE
Inventors: Hirofumi Takeda; Shuichiro Nishigori; Shiro Suzuki; Takahiro Watanabe
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2020-04-29
Filing date: 2021-03-19
Publication date: 2023-03-23
Also published as: WO2021220659A1; US20230145547A1; JPWO2021220659A1; CN115516770A

Abstract

Eine Aufgabe besteht darin, die Menge zu übertragender Daten zu reduzieren und gleichzeitig eine taktile Reproduzierbarkeit zu gewährleisten. Eine Decodiervorrichtung gemäß der vorliegenden Technologie umfasst Folgendes: eine erste Decodiereinheit, die erste codierte Daten decodiert, die durch Codieren eines ersten Signalabschnitts mit einer ersten Bitrate erhalten werden, wobei der erste Signalabschnitt ein Teil eines Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst; und eine zweite Decodiereinheit, die zweite codierte Daten decodiert, die durch Codieren eines zweiten Signalabschnitts mit einer niedrigeren Bitrate als die erste Bitrate erhalten werden, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist.

Description

[Technisches Gebiet]
Die vorliegende Technologie betrifft eine Decodiervorrichtung, die ein codiertes taktiles Signal decodiert, ein Decodierverfahren dafür, ein Programm der Decodiervorrichtung, eine Codiervorrichtung, die ein taktiles Signal codiert, ein Codierverfahren dafür und ein Programm der Codiervorrichtung.
[Stand der Technik]
In den letzten Jahren wurde eine Technologie entwickelt, bei der eine an einem Benutzer befestigte Vorrichtung vibriert, um dem Benutzer einen taktilen Reiz zu geben. Hier bezieht sich der taktile Reiz auf ein physisches Phänomen, das bewirkt, dass der Benutzer aufgrund eines Vibrationsphänomens oder dergleichen eine taktile Empfindung wahrnimmt. Darüber hinaus wird das Erzeugen eines taktilen Reizes als taktile Präsentation bezeichnet.
Technologien zur taktilen Präsentation werden in Vorrichtungen in verschiedenen Bereichen verwendet. Beispielsweise vibriert in einem Endgerät mit einem Berührungsfeld wie einem Smartphone das Berührungsfeld als Reaktion auf eine Berührungsbedienung durch den Benutzer und gibt dem Finger des Benutzers einen taktilen Reiz, sodass der Benutzer eine Berührung einer auf dem Berührungsfeld angezeigten Taste oder dergleichen fühlen kann. Ferner wird beispielsweise in einer Musikhörvorrichtung, wie Kopfhörern, ein taktiler Reiz im Takt mit der Musikwiedergabe gegeben, sodass der tiefe Bass in der wiedergegebenen Musik verstärkt werden kann.
Ferner wird beispielsweise in einer Vorrichtung, die ein Computerspiel oder VR (Virtuelle Realität) bereitstellt, ein Controller oder dergleichen gemäß einer Bedienung des Controllers oder einer Szene des Inhalts vibriert, um dem Benutzer einen taktilen Reiz zu geben, sodass das immersive Gefühl des Benutzers in dem Inhalt verbessert werden kann.
Zusätzlich wurde eine Technologie entwickelt, um einem Benutzer einen taktilen Reiz basierend auf einem von einer externen Vorrichtung empfangenen taktilen Signal zu geben. Zum Beispiel offenbart PTL 1, auf die unten Bezug genommen wird, eine Technologie, um einem Benutzer einen taktilen Reiz zu geben, wobei die Frequenz und Amplitude der Vibration basierend auf einem empfangenen Signal geändert werden.
[Liste bekannter Schriften]
[Patentliteratur]
[PTL 1] JP 2016-202486 A
[Kurzdarstellung]
[Technisches Problem]
Hier wird berücksichtigt, dass es beim Durchführen einer taktilen Präsentation für mehrere Teile des Körpers des Benutzers erforderlich ist, ein taktiles Signal für jeden der den jeweiligen Teilen des Benutzers entsprechenden Kanäle vorzubereiten. In diesem Fall wird angenommen, dass die Gesamtmenge an erforderlichen taktilen Signaldaten mit Zunahme der Anzahl der Teile, denen taktile Reize gegeben werden, zunimmt. Darüber hinaus nimmt selbst dann, wenn der Frequenzbereich der in dem taktilen Signal enthaltenen Vibration erweitert wird, die Gesamtmenge an erforderlichen taktilen Signaldaten zu. Daher können die Übertragung und der Empfang von taktilen Signalen aufgrund des Überlastungszustands eines für die Übertragung und den Empfang der taktilen Signale verwendeten Netzwerks verzögert werden.
Die vorliegende Technologie wurde im Hinblick auf die oben genannten Umstände gemacht und zielt darauf ab, sowohl eine reduzierte zu übertragende Datenmenge als auch eine Garantie der Wiedergabe der taktilen Empfindung zu erreichen.
[Lösung des Problems]
Eine Decodiervorrichtung gemäß der vorliegenden Technologie umfasst Folgendes: eine erste Decodiereinheit, die erste codierte Daten decodiert, die durch Codieren eines ersten Signalabschnitts mit einer ersten Bitrate erhalten werden, wobei der erste Signalabschnitt ein Teil eines Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst; und eine zweite Decodiereinheit, die zweite codierte Daten decodiert, die durch Codieren eines zweiten Signalabschnitts mit einer niedrigeren Bitrate als die erste Bitrate erhalten werden, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist.
Als Ergebnis ist es möglich, codierte taktile Daten geeignet zu decodieren, in denen nur der signifikante Abschnitt in dem Berührungssignalabschnitt mit der hohen Bitrate codiert ist und der andere Abschnitt mit der niedrigen Bitrate codiert ist, sodass sowohl eine reduzierte Menge zu übertragener Daten als auch eine Garantie der Wiedergabe der taktilen Empfindung erreicht werden können.
Die Decodiervorrichtung gemäß der oben beschriebenen vorliegenden Technologie kann eine Kombiniereinheit umfassen, die erste Wellenformdaten, die durch Decodieren der ersten codierten Daten erhalten werden, und zweite Wellenformdaten, die durch Decodieren der zweiten codierten Daten erhalten werden, kombiniert. Als Ergebnis werden die Elemente von Wellenformdaten zu einem Wellenformdatenelement integriert.
In der oben beschriebenen Decodiervorrichtung gemäß der vorliegenden Technologie kann die Kombiniereinheit eine Überblendungsverarbeitung an einem kombinierten Teil zwischen den ersten Wellenformdaten und den zweiten Wellenformdaten durchführen. Als Ergebnis werden die ersten Wellenformdaten und die zweiten Wellenformdaten nahtlos kombiniert.
Ein Decodierverfahren gemäß der vorliegenden Technologie umfasst Folgendes: Decodieren von ersten codierten Daten, die durch Codieren eines ersten Signalabschnitts mit einer ersten Bitrate erhalten werden, wobei der erste Signalabschnitt ein Teil eines Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst; und Decodieren von zweiten codierten Daten, die durch Codieren eines zweiten Signalabschnitts mit einer niedrigeren Bitrate als die erste Bitrate erhalten werden, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist.
Mit einem solchen Decodierverfahren kann auch derselbe Betrieb wie der der oben beschriebenen Decodiervorrichtung gemäß der vorliegenden Technologie erhalten werden.
Ein erstes Programm gemäß der vorliegenden Technologie ist ein Programm, das bewirkt, dass eine Informationsverarbeitungsvorrichtung Folgendes ausführt: eine Funktion zum Decodieren von ersten codierten Daten, die durch Codieren eines ersten Signalabschnitts mit einer ersten Bitrate erhalten werden, wobei der erste Signalabschnitt ein Teil eines Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst; und eine Funktion zum Decodieren von zweiten codierten Daten, die durch Codieren eines zweiten Signalabschnitts mit einer niedrigeren Bitrate als die erste Bitrate erhalten werden, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist. Ein solches erstes Programm gemäß der vorliegenden Technologie realisiert die oben beschriebene Decodiervorrichtung gemäß der vorliegenden Technologie.
Eine Codiervorrichtung gemäß der vorliegenden Technologie umfasst Folgendes: eine Bestimmungseinheit, die einen ersten Signalabschnitt und einen zweiten Signalabschnitt bestimmt, wobei der erste Signalabschnitt Teil eines Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist; eine erste Codiereinheit, die den ersten Signalabschnitt mit einer ersten Bitrate codiert; und eine zweite Codiereinheit, die den zweiten Signalabschnitt mit einer niedrigeren Bitrate als die erste Bitrate codiert. Als Ergebnis wird nur der signifikante Abschnitt im Berührungssignalabschnitt mit der hohen Bitrate codiert, und der andere Abschnitt wird mit der niedrigen Bitrate codiert.
In der oben beschriebenen Codiervorrichtung gemäß der vorliegenden Technologie kann die Bestimmungseinheit den ersten Signalabschnitt und den zweiten Signalabschnitt basierend auf Abschnittsinformationen über den ersten Signalabschnitt und den zweiten Signalabschnitt, die zu dem taktilen Signal hinzugefügt werden, bestimmen. Als Ergebnis ist eine Wellenformanalyseverarbeitung beim Bestimmen des ersten Signalabschnitts und des zweiten Signalabschnitts nicht erforderlich.
In der oben beschriebenen Codiervorrichtung gemäß der vorliegenden Technologie kann die Bestimmungseinheit den ersten Signalabschnitt und den zweiten Signalabschnitt basierend auf einem Ergebnis des Durchführens einer Wellenformanalyse an dem taktilen Signal bestimmen. Als Ergebnis müssen beim individuellen Codieren des ersten Signalabschnitts und des zweiten Signalabschnitts keine Informationen zum Unterscheiden zwischen dem ersten Signalabschnitt und dem zweiten Signalabschnitt zu dem Berührungssignal hinzugefügt werden.
In der oben beschriebenen Codiervorrichtung gemäß der vorliegenden Technologie kann die Bestimmungseinheit den ersten Signalabschnitt und den zweiten Signalabschnitt basierend auf einer Amplitudenänderungsrate des taktilen Signals bestimmen. Als Ergebnis ist es möglich, den ersten Signalabschnitt mit einer abrupten Änderung der Wellenform des taktilen Signals geeignet zu bestimmen.
In der oben beschriebenen Codiervorrichtung gemäß der vorliegenden Technologie kann die zweite Codiereinheit den zweiten Signalabschnitt durch ein Codierverfahren codieren, bei dem eine längere Umwandlungslänge als beim Codieren für den ersten Signalabschnitt verwendet wird. Als Ergebnis wird die Menge an zweiten codierten Daten im zweiten Signalabschnitt reduziert.
In der oben beschriebenen Codiervorrichtung gemäß der vorliegenden Technologie kann die zweite Codiereinheit eine parametrische Codierung an dem zweiten Signalabschnitt durchführen. Als Ergebnis wird die Menge an zweiten codierten Daten im zweiten Signalabschnitt reduziert.
Die oben beschriebene Codiervorrichtung gemäß der vorliegenden Technologie kann einen ersten Pufferspeicher, der zum Bestimmen des ersten Signalabschnitts und des zweiten Signalabschnitts verwendet wird, und einen zweiten Pufferspeicher, der zum Codieren des zweiten Signalabschnitts gemäß einem Ergebnis des Bestimmens verwendet wird, umfassen. Als Ergebnis ist es möglich, dass eine zweite Pufferverarbeitungseinheit ein taktiles Signal puffert, das nicht durch eine erste Pufferverarbeitungseinheit für das taktile Signal in dem zweiten Signalabschnitt gepuffert wird, für das die Umwandlungslänge länger als beim Codieren für den ersten Signalabschnitt ist.
Ein Codierverfahren gemäß der vorliegenden Technologie umfasst Folgendes: Bestimmen eines ersten Signalabschnitts und eines zweiten Signalabschnitts, wobei der erste Signalabschnitt Teil eines Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist; Codieren des ersten Signalabschnitts mit einer ersten Bitrate; und Codieren des zweiten Signalabschnitts mit einer niedrigeren Bitrate als die erste Bitrate. Mit einem solchen Codierverfahren kann auch derselbe Betrieb wie der der oben beschriebenen Codiervorrichtung gemäß der vorliegenden Technologie erhalten werden.
Ein zweites Programm gemäß der vorliegenden Technologie ist ein Programm, das bewirkt, dass eine Informationsverarbeitungsvorrichtung Folgendes ausführt: eine Funktion zum Bestimmen eines ersten Signalabschnitts und eines zweiten Signalabschnitts, wobei der erste Signalabschnitt Teil eines Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist; eine Funktion zum Codieren des ersten Signalabschnitts mit einer ersten Bitrate; und eine Funktion zum Codieren des zweiten Signalabschnitts mit einer niedrigeren Bitrate als die erste Bitrate. Ein solches zweites Programm gemäß der vorliegenden Technologie realisiert die oben beschriebene Codiervorrichtung gemäß der vorliegenden Technologie.
Figurenliste

[1] 1 ist ein Diagramm, das ein Konfigurationsbeispiel eines taktilen Wiedergabesystems gemäß einer Ausführungsform der vorliegenden Technologie darstellt.
[2] 2 ist ein Diagramm, das ein Konfigurationsbeispiel einer Codiervorrichtung gemäß einer Ausführungsform darstellt.
[3] 3 ist ein Diagramm, das ein Konfigurationsbeispiel einer Wiedergabevorrichtung gemäß einer Ausführungsform darstellt.
[4] 4 ist ein Diagramm, das ein Konfigurationsbeispiel einer Decodiervorrichtung gemäß einer Ausführungsform darstellt.
[5] 5 ist ein Diagramm, das ein Verwendungsbeispiel des taktilen Wiedergabesystems gemäß einer Ausführungsform der vorliegenden Technologie darstellt.
[6] 6 ist ein Diagramm, das eine Vibrationsdetektionsschwellenkurve, die als Richtlinie für die menschliche taktile Empfindlichkeit dient, gemäß einer Ausführungsform darstellt.
[7] 7 ist ein Diagramm, das eine Vibrationswellenform eines taktilen Signals gemäß einer Ausführungsform darstellt.
[8] 8 ist ein Diagramm, das ein Konfigurationsbeispiel einer Codiereinheit gemäß einer Ausführungsform darstellt.
[9] 9 ist ein Diagramm, das ein Konfigurationsbeispiel eines Datenformats von codierten taktilen Daten gemäß einer Ausführungsform darstellt.
[10] 10 ist ein Flussdiagramm, das eine Verarbeitung zum Realisieren eines Codierverfahrens gemäß einer Ausführungsform darstellt.
[11] 11 ist ein Diagramm, das ein Konfigurationsbeispiel eines Datenformats von codierten taktilen Daten gemäß einer Ausführungsform darstellt.
[12] 12 ist ein Flussdiagramm, das eine Verarbeitung zum Realisieren eines Codierverfahrens gemäß einer Ausführungsform darstellt.
[13] 13 ist ein veranschaulichendes Diagramm einer Überblendungsverarbeitung, die durch eine Kombiniereinheit durchgeführt wird, gemäß einer Ausführungsform.
[14] 14 ist ein Flussdiagramm, das eine Verarbeitung zum Realisieren eines Decodierverfahrens gemäß einer Ausführungsform darstellt.
[15] 15 ist ein detailliertes Diagramm einer Überblendungsverarbeitung, die durch eine Kombiniereinheit durchgeführt wird, gemäß einer Ausführungsform.
[16] 16 ist ein detailliertes Diagramm einer Überblendungsverarbeitung, die durch die Kombiniereinheit durchgeführt wird, gemäß der Ausführungsform.
[17] 17 ist ein Diagramm, das ein Konfigurationsbeispiel eines ersten Anwendungsbeispiels einer Ausführungsform darstellt.
[18] 18 ist ein Diagramm, das ein Konfigurationsbeispiel eines zweiten Anwendungsbeispiels einer Ausführungsform darstellt.
[19] 19 ist ein Diagramm, das ein Konfigurationsbeispiel eines dritten Anwendungsbeispiels einer Ausführungsform darstellt.

[Beschreibung der Ausführungsformen]
Ausführungsformen der vorliegenden Technologie werden unter Bezugnahme auf die oben erwähnten Zeichnungen beschrieben. Auf die Beschreibung der Zeichnungen für die Konfiguration, falls zuvor beschrieben, kann mit den gleichen Bezugszeichen Bezug genommen werden, und es kann auf die Beschreibung davon verzichtet werden. Zudem sind die Zeichnungen schematisch und die Hauptteile, die zum Beschreiben der vorliegenden Technologie und der zugehörigen Konfigurationen notwendig sind, sind zur Veranschaulichung entnommen. Die Beziehung zwischen der Dicke, den Ebenenabmessungen, den Verhältnissen und dergleichen der in den Zeichnungen dargestellten Strukturen sind lediglich Beispiele, und verschiedene Änderungen können beispielsweise gemäß ihrer Ausgestaltung vorgenommen werden, solange sie nicht von der technischen Idee der vorliegenden Technologie abweichen.
Im Folgenden wird eine Ausführungsform in der folgenden Reihenfolge beschrieben.

< 1. Überblick des taktilen Wiedergabesystems>
<2. Konfiguration der Codiervorrichtung>
<3. Konfiguration der Wiedergabevorrichtung>
<4. Konfiguration der Decodiervorrichtung>
<5. Verwendungsbeispiele des taktilen Wiedergabesystems>
<6. Taktiles Wiedergabeverfahren als Ausführungsform>
[6-1. Probleme im Zusammenhang mit taktiler Signalübertragung]
[6-2. Codierverfahren]
[6-3. Decodierverfahren]
<7. Erstes Anwendungsbeispiel>
<8. Zweites Anwendungsbeispiel>
<9. Drittes Anwendungsbeispiel>
<10. Schlussfolgerung>
< 11. Vorliegende Technologie>

Die hierin verwendeten Begriffe werden nunmehr wie folgt definiert. Taktiler Reiz: Ein physisches Phänomen, das bewirkt, dass eine Person eine taktile Empfindung wahrnimmt, wie etwa ein Vibrationsphänomen. Taktile Präsentation: Erzeugen eines taktilen Reizes. Taktiles Signal: Ein Signal, das ein Muster eines taktilen Reizes darstellt, wie etwa ein Signal, das eine Vibrationswellenform darstellt. Empfänger: Eine Person, die eine taktile Präsentation empfängt. Taktile Eigenschaften: Menschliche taktile Eigenschaften. Abhängig von einem Teil (Hand, Gesicht, Fuß usw.). Taktile Empfindlichkeit: Eine Empfindlichkeit, wie stark der taktile Reiz subjektiv empfunden wird. Abhängig von einem Rezeptor oder Teil des menschlichen Körpers. Eine hohe taktile Empfindlichkeit bedeutet, dass taktile Signale leicht wahrgenommen werden können. Codierte taktile Daten: Daten, in denen ein taktiles Signal codiert ist. Umfasst einen Strom und einen Frame, bei denen es sich um untergeordnete Konzepte handelt. Die codierten taktilen Daten umfassen erste codierte Daten und zweite codierte Daten, die später beschrieben werden.
< 1. Überblick des taktilen Wiedergabesystems>
1 veranschaulicht ein Konfigurationsbeispiel eines taktilen Wiedergabesystems 1, das eine Codiervorrichtung 2 und einer Decodiervorrichtung 3 umfasst, als eine Ausführungsform gemäß der vorliegenden Technologie.
Zunächst wird in der vorliegenden Ausführungsform eine Umgebung zum Realisieren einer taktilen Wiedergabe klassifiziert in: eine Sammelumgebung, in der ein durch Erfassen taktiler Informationen (taktiler Reiz) als Ziel erhaltenes taktiles Signal codiert wird und die durch Codieren erhaltenen codierten taktilen Daten Dc gesammelt werden; und eine Wiedergabeumgebung, in der die taktilen Informationen basierend auf einem durch Decodieren der codierten taktilen Daten Dc erhaltenen taktilen Signal wiedergegeben werden.
Wie dargestellt, umfasst das taktile Wiedergabesystem 1 in der Sammelumgebung mehrere taktile Sensoren 5 und eine Codiervorrichtung 2, mit der die taktilen Sensoren 5 verbunden sind, und umfasst in der Wiedergabeumgebung eine Wiedergabevorrichtung 4, die zum Erfassen codierter taktiler Daten Dc konfiguriert ist, eine Decodiervorrichtung 3, die zum Ermöglichen einer drahtlosen Kommunikation mit der Wiedergabevorrichtung 4 konfiguriert ist, und mehrere taktile Präsentationsvorrichtungen 6, die mit der Decodiervorrichtung 3 verbunden sind.
Jeder taktile Sensor 5 ist ein Sensor, der einen taktilen Reiz erfasst, und im vorliegenden Beispiel wird ein Vibrationssensor wie etwa ein Piezo-Aufnehmer oder ein Beschleunigungssensor verwendet. Der taktile Sensor gibt eine Vibration oder Bewegung als Spannungsänderung aus, wenn er mit einem zu erfassenden Objekt, also im vorliegenden Beispiel mit dem menschlichen Körper, in Berührung kommt.
Im vorliegenden Beispiel sind die taktilen Sensoren 5 in Drahtverbindung mit der Codiervorrichtung 2 und die taktilen Sensoren 5 sind an verschiedenen Teilen des menschlichen Körpers als Objekt befestigt und erfassen einen an jedem Teil erzeugten taktilen Reiz.
Die Teile, an denen die taktilen Sensoren 5 befestigt sind, sind nicht auf die des menschlichen Körpers beschränkt, und ein taktiler Sensor 5 kann an einem in dem taktilen Wiedergabesystem 1 verwendeten Werkzeug oder dergleichen befestigt sein. In diesem Fall erfasst der taktile Sensor 5 einen taktilen Reiz, der an dem entsprechenden Teil erzeugt wird, an dem das Werkzeug als Objekt befestigt ist.
Die Codiervorrichtung 2 ist so konfiguriert, dass sie zum Beispiel eine Computervorrichtung wie etwa eine zentrale Verarbeitungseinheit (CPU) oder einen digitalen Signalprozessor (DSP) umfasst, codiert ein Detektionssignal (taktiles Signal) von jedem taktilen Sensor 5 gemäß einem vorbestimmten Datenformat und sammelt die durch Codieren erhaltenen codierten taktilen Daten Dc beispielsweise in einer intern bereitgestellten Speichervorrichtung.
Die Wiedergabevorrichtung 4 ist so konfiguriert, dass sie eine Computervorrichtung wie etwa eine CPU und einen DSP umfasst, und überträgt die erfassten codierten taktilen Daten Dc an die Decodiervorrichtung 3. Beispielsweise werden die in der Sammelumgebung gesammelten codierten taktilen Daten Dc durch die Wiedergabevorrichtung 4 über ein erforderliches Netzwerk wie das Internet erfasst. Alternativ können die codierten taktilen Daten Dc auf einem tragbaren Aufzeichnungsmedium aufgezeichnet werden, und die Wiedergabevorrichtung 4 kann die codierten taktilen Daten Dc über das Aufzeichnungsmedium erfassen.
Die Decodiervorrichtung 3 decodiert die von der Wiedergabevorrichtung 4 empfangenen codierten taktilen Daten Dc und steuert jede taktile Präsentationsvorrichtung 6 basierend auf dem durch Decodieren erhaltenen taktilen Signal an.
Die taktile Präsentationsvorrichtung 6 ist eine Vorrichtung, die einen taktilen Reiz erzeugt, und im vorliegenden Beispiel wird eine Vibrationsvorrichtung wie ein Vibrator oder ein Aktuator verwendet. Im vorliegenden Beispiel sind die jeweiligen taktilen Präsentationsvorrichtungen 6 an unterschiedlichen Teilen des menschlichen Körpers des Empfängers befestigt und jeweils dazu angepasst, den durch den entsprechenden taktilen Sensor 5 erfassten taktilen Reiz wiederzugeben.
Hier sind im vorliegenden Beispiel die taktilen Präsentationsvorrichtungen 6 in Drahtverbindung mit der Decodiervorrichtung 3, und eine Konfiguration, die in der Figur von einer gestrichelten Linie umgeben ist, das heißt die Konfiguration, die die Decodiervorrichtung 3 und die taktilen Präsentationsvorrichtungen 6 umfasst, soll befestigt werden.
In dem taktilen Wiedergabesystem 1 kann die Wiedergabevorrichtung 4 so konfiguriert sein, dass sie die Funktion der Decodiervorrichtung 3 hat, sodass die Wiedergabevorrichtung 4 und die taktilen Präsentationsvorrichtungen 6 in einer Drahtverbindung miteinander stehen. Bei einer solchen Konfiguration besteht jedoch die Gefahr, dass der Empfänger, an dem die taktilen Präsentationsvorrichtungen 6 befestigt sind, belästigt wird. Diese Belästigung wird voraussichtlich mit Zunahme der Anzahl der Teile, an denen taktile Reize gegeben werden sollen, zunehmen. Mit der in 1 dargestellten Konfiguration des taktilen Wiedergabesystems 1 ist es möglich, eine solche Belästigung des Empfängers zu verhindern.
Das in 1 dargestellte taktile Wiedergabesystem 1 ist als ein System konfiguriert, das an dem Empfänger die taktile Empfindung jedes Teils reproduziert, die von einer Person wahrgenommen wird, an der die taktilen Sensoren 5 befestigt sind, und ist außerdem als ein System konfiguriert, dass anwendbar ist, falls sie voneinander entfernt sind.
<2. Konfiguration der Codiervorrichtung>
2 ist ein Diagramm, das ein internes Konfigurationsbeispiel der Codiervorrichtung 2 darstellt. 2 stellt außerdem die in 1 veranschaulichten taktilen Sensoren 5 zusammen mit dem internen Konfigurationsbeispiel der Codiervorrichtung 2 dar.
Wie dargestellt, umfasst die Codiervorrichtung 2 mehrere Verstärker 21, mehrere Analog/Digital(A/D)-Wandler 22, eine Vorverarbeitungseinheit 23, eine Codiereinheit 24, eine Steuereinheit 25, eine Speichereinheit 26, eine Kommunikationseinheit 27 und ein Bus 28. Die Vorverarbeitungseinheit 23, die Codiereinheit 24, die Steuereinheit 25, die Speichereinheit 26 und die Kommunikationseinheit 27 sind über den Bus 28 verbunden, sodass sie Daten miteinander kommunizieren können.
Das Detektionssignal von jedem Berührungssensor 5 wird in den entsprechenden Verstärker 21 eingegeben und auf einen geeigneten Dynamikbereich eingestellt und dann in den entsprechenden A/D-Wandler 22 eingegeben, um einer A/D-Umwandlung (Analog/Digital-Umwandlung) unterzogen zu werden.
Jedes der A/D-Umwandlung unterzogene Detektionssignal (das heißt ein taktiles Signal für jedes Teil) wird in die Vorverarbeitungseinheit 23 eingegeben. Die Vorverarbeitungseinheit 23 führt verschiedene Arten digitaler Signalverarbeitung durch, wie etwa Rauschreduzierung und Kalibrierung der Sensoreigenschaften des taktilen Sensors 5. Jedes der Signalverarbeitung durch die Vorverarbeitungseinheit 23 unterzogene taktile Signal wird in die Codiereinheit 24 eingegeben.
Die Codiereinheit 24 umfasst beispielsweise einen DSP und codiert jedes eingegebene taktile Signal gemäß einem vorbestimmten Datenformat, um die oben erwähnten codierten taktilen Daten Dc zu erhalten. Einzelheiten zum Codieren des taktilen Signals gemäß der vorliegenden Ausführungsform werden erneut beschrieben.
Die Steuereinheit 25 ist so konfiguriert, dass sie einen Mikrocomputer umfasst, der beispielsweise eine CPU, einen Nur-Lese-Speicher (ROM), einen Direktzugriffsspeicher (RAM) und dergleichen umfasst, und führt die Gesamtsteuerung der Codiervorrichtung 2 durch Ausführen beispielsweise einer Verarbeitung gemäß einem in dem ROM gespeicherten Programm durch. Beispielsweise führt die Steuereinheit 25 eine Datenkommunikation mit einer externen Vorrichtung über die Kommunikationseinheit 27 durch.
Die Kommunikationseinheit 27 ist dazu konfiguriert, eine Datenkommunikation mit einer externen Vorrichtung über ein Netzwerk wie etwa das Internet durchzuführen, und die Steuereinheit 25 ist dazu konfiguriert, eine Datenkommunikation mit der externen Vorrichtung durchzuführen, die über die Kommunikationseinheit 27 mit dem Netzwerk verbunden ist. Insbesondere ist die Steuereinheit 25 dazu konfiguriert, zu bewirken, dass die Kommunikationseinheit 27 die durch die Codiereinheit 24 erhaltenen codierten taktilen Daten Dc an die externe Vorrichtung überträgt.
Die Speichereinheit 26 stellt umfassend eine Speichervorrichtung wie etwa ein Festplattenlaufwerk (HDD) oder ein Festkörperlaufwerk (SSD) dar und wird für verschiedene Arten der Datenspeicherung in der Codiervorrichtung 2 verwendet. Beispielsweise speichert die Speichereinheit 26 Daten, die für eine durch die Steuereinheit 25 durchgeführte Steuerung erforderlich sind. Ferner können die durch die Codiereinheit 24 erhaltenen codierten taktilen Daten Dc unter der Steuerung der Steuereinheit 25 in der Speichereinheit 26 gespeichert werden.
<3. Konfiguration der Wiedergabevorrichtung>
3 ist ein Diagramm, das ein internes Konfigurationsbeispiel der Wiedergabevorrichtung 4 darstellt. Wie dargestellt, umfasst die Wiedergabevorrichtung 4 eine Steuereinheit 41, eine Kommunikationseinheit 42, ein Medienlaufwerk 43, eine Speichereinheit 44 und eine Drahtloskommunikationseinheit 45 und umfasst außerdem einen Bus 46, der diese Einheiten verbindet, sodass sie Daten miteinander kommunizieren können.
Die Steuereinheit 41 ist so konfiguriert, dass sie beispielsweise einen Mikrocomputer mit einer CPU, einem ROM, einem RAM und dergleichen umfasst, und steuert die gesamte Wiedergabevorrichtung 4.
Die Kommunikationseinheit 42 ist dazu konfiguriert, eine Datenkommunikation mit einer externen Vorrichtung über ein Netzwerk wie etwa das Internet durchzuführen.
Die Steuereinheit 41 ist dazu konfiguriert, eine Datenkommunikation mit der externen Vorrichtung durchzuführen, die über die Kommunikationseinheit 42 mit dem Netzwerk verbunden ist. Insbesondere ist die Steuereinheit 41 dazu konfiguriert, zu bewirken, dass die Kommunikationseinheit 42 die codierten taktilen Daten Dc von einer externen Vorrichtung wie etwa einer Servervorrichtung in dem Netzwerk empfängt.
Das Medienlaufwerk 43 ist dazu konfiguriert, zu ermöglichen, dass ein tragbares Aufzeichnungsmedium geladen und entladen wird, und ist außerdem als eine Lese-/Schreibeinrichtung konfiguriert, in der Daten auf das geladene Aufzeichnungsmedium geschrieben und von diesem gelesen werden können. Zu Beispielen des von dem Medienlaufwerk 43 unterstützten Aufzeichnungsmediums gehören eine Speicherkarte (beispielsweise ein tragbarer Flash-Speicher), ein optisches Plattenaufzeichnungsmedium und dergleichen. Dieses Medienlaufwerk 43 ermöglicht es, die auf dem tragbaren Aufzeichnungsmedium aufgezeichneten codierten taktilen Daten Dc auszulesen.
Die Speichereinheit 44 stellt umfassend eine Speichervorrichtung wie ein HDD oder ein SSD dar und wird für verschiedene Arten der Datenspeicherung in der Wiedergabevorrichtung 4 verwendet. Beispielsweise speichert die Speichereinheit 44 Daten, die für eine durch die Steuereinheit 41 durchgeführte Steuerung erforderlich sind. Ferner können unter der Steuerung der Steuereinheit 41 die durch das Medienlaufwerk 43 gelesenen codierten taktilen Daten Dc und die durch die Kommunikationseinheit 42 von der externen Vorrichtung empfangenen codierten taktilen Daten Dc in der Speichereinheit 44 gespeichert werden.
Die Drahtloskommunikationseinheit 45 führt eine drahtlose Nahbereichskommunikation durch einen vorbestimmten Kommunikationstyp wie beispielsweise Bluetooth (eingetragene Marke) durch.
Hier führt die Steuereinheit 41 eine Steuerung zum Bewirken, dass die Kommunikationseinheit 42 die codierten taktilen Daten Dc empfängt, und eine Steuerung zum Bewirken, dass das Medienlaufwerk 43 die codierten taktilen Daten Dc ausliest, als Teile der oben erwähnten Gesamtsteuerung durch. Die Steuereinheit 41 führt außerdem eine Steuerung zum Bewirken, dass die Drahtloskommunikationseinheit 45 die über die Kommunikationseinheit 42 oder das Medienlaufwerk 43 erhaltenen codierten taktilen Daten Dc an die Decodiervorrichtung 3 überträgt, durch.
<4. Konfiguration der Decodiervorrichtung>
4 ist ein Diagramm zum Beschreiben eines internen Konfigurationsbeispiels der Decodiervorrichtung 3 und veranschaulicht die taktilen Präsentationsvorrichtungen 6 zusammen mit dem internen Konfigurationsbeispiel der Decodiervorrichtung 3.
Wie dargestellt, umfasst die Decodiervorrichtung 3 mehrere Verstärker 31, mehrere Digital/Analog(D/A)-Wandler 32, eine Kombiniereinheit 33, eine Decodiereinheit 34, eine Steuereinheit 35, eine Drahtloskommunikationseinheit 36, eine Speichereinheit 37 und einen Bus 38. Die Kombiniereinheit 33, die Decodiereinheit 34, die Steuereinheit 35, die Drahtloskommunikationseinheit 36 und die Speichereinheit 37 sind über den Bus 38 verbunden, sodass sie Daten miteinander kommunizieren können.
Die Steuereinheit 35 ist so konfiguriert, dass sie beispielsweise einen Mikrocomputer mit einer CPU, einem ROM, einem RAM und dergleichen umfasst, und steuert die gesamte Decodiervorrichtung 3.
Die Drahtloskommunikationseinheit 36 führt eine drahtlose Nahbereichskommunikation durch ein Verfahren zum Kommunizieren mit der Drahtloskommunikationseinheit 45 in der Wiedergabevorrichtung 4, wie etwa Bluetooth, durch. Die von der Wiedergabevorrichtung 4 übertragenen codierten taktilen Daten Dc werden durch die Drahtloskommunikationseinheit 36 empfangen.
Die Speichereinheit 37 ist zum Beispiel eine Speichervorrichtung ähnlich der Speichereinheit 26 der Codiervorrichtung 2 oder der Speichereinheit 44 der Wiedergabevorrichtung 4 und wird zum Speichern verschiedener Arten von Daten verwendet, die durch die Steuereinheit 35 und dergleichen verwendet werden.
Die Decodiereinheit 34 decodiert die über die Drahtloskommunikationseinheit 36 empfangenen codierten taktilen Daten Dc durch ein später beschriebenes Verfahren, um ein taktiles Signal für jeden Teil zu erhalten. Das durch die Decodiereinheit 34 erhaltene taktile Signal für jeden Teil wird in die Kombiniereinheit 33 eingegeben.
Die Kombiniereinheit 33 führt bei Bedarf eine Signalverarbeitung, wie etwa eine Kalibrierung der taktilen Präsentationsvorrichtung 6 und eine vorbestimmte Filterverarbeitung, an dem empfangenen taktilen Signal für jeden Teil durch. Einzelheiten zum Decodieren der codierten taktilen Daten Dc gemäß der vorliegenden Ausführungsform werden erneut beschrieben.
Jedes taktile Signal, das die Kombiniereinheit 33 durchlaufen hat, wird in den entsprechenden D/A-Wandler 32 eingegeben, um einer D/A-Umwandlung (Digital/Analog-Umwandlung) unterzogen zu werden, dann in dem entsprechenden Verstärker 31 auf einen geeigneten Dynamikbereich eingestellt und an die entsprechende taktile Präsentationsvorrichtung 6 ausgegeben. Als Ergebnis wird jede taktile Präsentationsvorrichtung 6 basierend auf dem entsprechenden taktilen Signal angesteuert, und ein in der Detektionsumgebung zu erfassender taktiler Reiz kann an den Empfänger gegeben werden (das heißt, die taktilen Informationen können wiedergegeben werden).
Obgleich vorstehend nur das taktile Signal erwähnt wird, kann eine Konfiguration bereitgestellt werden, bei der ein Audiosignal und ein Videosignal zusammen mit dem taktilen Signal gesammelt werden, um dem Empfänger den Ton und das Bild zusammen mit den taktilen Informationen bereitzustellen.
<5. Verwendungsbeispiele des taktilen Wiedergabesystems>
Man nehme an, es soll ein Inhalt zum Präsentieren einer taktilen Empfindung zusätzlich zu einem Video wiedergegeben werden. 5 ist ein veranschaulichendes Diagramm eines Verwendungsbeispiels des taktilen Wiedergabesystems 1.
In 5 werden zum Zeitpunkt der Inhaltsproduktion zusätzlich zu dem Video die codierten taktilen Daten Dc, in denen die Codiervorrichtung 2 die taktilen Signale (darunter ein taktiles Körpersignal 62, ein taktiles Fingersignal 63, eines taktiles Fußsignals 64) codiert, die von den auf einem taktilen Kollektor 61 befestigten taktilen Sensoren 5 (darunter ein taktiler Sensor 5b für den Körper, ein taktiler Sensor 5h für die Finger und der taktile Sensor 5f für den Fuß in der Figur) gesammelt werden, synchron mit dem Video aufgezeichnet, und die resultierenden Daten werden als Inhalt 65 in der Speichereinheit 44 der Wiedergabevorrichtung 4 gespeichert.
Zum Zeitpunkt der Wiedergabe wird der Inhalt 65 von der Speichereinheit 44 über die Drahtloskommunikationseinheit 45 an die Decodiervorrichtung 3 übertragen, und der durch die Drahtloskommunikationseinheit 36 empfangene Inhalt 65 wird durch die Decodiereinheit 34 decodiert. Als Ergebnis ist es möglich, die taktilen Signale (darunter ein taktiles Körpersignal 66, ein taktiles Fingersignal 67, ein taktiles Fußsignal 68) entsprechend den an einem Empfänger 69 befestigten taktilen Präsentationsvorrichtungen 6 (darunter eine taktile Präsentationsvorrichtung 6b für den Körper, eine taktile Präsentationsvorrichtung 6h für die Finger und eine taktile Präsentationsvorrichtung 6f für den Fuß in der Figur) über die taktilen Präsentationsvorrichtungen 6 zu präsentieren.
Zu Beispielen für Szenen, in denen die taktile Präsentation tatsächlich in dem Video durchgeführt wird, gehören eine Szene, in der eine Figur schlägt (oder geschlagen wird), eine Szene, in der eine Figur mit einer Waffe schießt (oder beschossen wird), eine Szene, in der eine Figur einen Stoß abbekommt, und eine Szene, in der eine Figur das Beben des Bodens spürt. In der Figur ist als ein Beispiel der taktilen Signale in dem tatsächlichen Inhalt 65 ein Wellenformbeispiel 50 der taktilen Körper-, Finger- und Fußsignale dargestellt. In dem Wellenformbeispiel 50 sind die taktilen Signale dargestellt, die durch die an den drei Teilen, dem Körper, den Fingern und dem Fuß, des taktilen Kollektors 61 befestigten taktilen Sensoren 5 (den taktilen Sensor 5b, den taktilen Sensor 5h, den taktilen Sensor 5f) erhalten werden.
In chronologischer Reihenfolge wird zuerst eine durch die Reaktion aufgrund eines Geschossabschusses verursachte Vibration an den Fingern in der Szene erzeugt, in der der taktile Kollektor 61 mit einer Waffe auf einen Gegner schießt, dann wird eine durch den Aufprall des angeschossenen Körpers verursachte Vibration in dem Körper in der Szene erzeugt, in der der Gegner ebenfalls mit einer Waffe auf den Körper des taktilen Kollektors schießt, und danach wird in der Szene, in der ein Erdbeben auftritt, eine Vibration des Bodens allmählich zu dem Fuß, dem Körper und den Fingern geleitet. Wird ein solcher Inhalt wiedergegeben, so kann der Empfänger 69 beispielsweise eine Realität mit hoher Qualität fühlen, indem die taktile Empfindung mit der Vibration zusätzlich zu dem Video und Audio wiedergegeben wird.
<6. Taktiles Wiedergabeverfahren als Ausführungsform>
[6-1. Probleme im Zusammenhang mit taktiler Signalübertragung]
Im Folgenden wird ein taktiles Wiedergabeverfahren als eine Ausführungsform beschrieben. Zunächst ist das taktile Wiedergabeverfahren als Ausführungsform ein Verfahren, das sich auf menschliche taktile Eigenschaften konzentriert. Eine in 6 dargestellte Vibrationsdetektionsschwellenkurve wurde als Richtlinie für die menschliche taktile Empfindlichkeit angegeben. In der Figur repräsentiert die horizontale Achse die Frequenz und die vertikale Achse repräsentiert die Stärke eines taktilen Reizes (Vibration: Verlagerung in diesem Beispiel). Die Vibrationsdetektionsschwellenkurve in 6 basiert auf den experimentellen Ergebnissen nach „Four channels mediate the mechanical aspects of touch S.J., Bolanowski 1988“. Die dargestellte Vibrationsdetektionsschwellenkurve ist ein Beispiel für die experimentelle Untersuchung, ob Menschen die Vibration als taktile Empfindung, das heißt taktile Empfindlichkeit, wahrnehmen oder nicht. Menschen können Vibrationen unterhalb dieser Kurve nicht als taktile Empfindungen wahrnehmen.
Wie aus 6 ersichtlich ist, liegt die Frequenz mit der höchsten taktilen Empfindlichkeit des Menschen im Allgemeinen bei etwa 200 Hz. Daher sind Vorrichtungen und Anwendungen, die Vibrationen erzeugen, häufig so ausgelegt, dass sie Vibrationen bis zu etwa 200 Hz erzeugen.
Andererseits ist allgemein bekannt, obwohl dies in den Ergebnissen von 6 nicht gezeigt ist, dass Menschen Vibrationen mit einer Frequenz von bis zu etwa 1 kHz als taktile Empfindung wahrnehmen können. Menschen können Vibrationen mit einem Frequenzanteil von etwa 1 kHz und Vibrationen ohne einen Frequenzanteil von etwa 1 kHz als unterschiedliche taktile Empfindungen wahrnehmen.
Beispielsweise umfassen die beim Entkorken einer Flasche erzeugten Vibrationen Vibrationen mit Frequenzen bis zu mehreren kHz. Wenn ein Benutzer eine Vibration empfängt, die von einer Vorrichtung übertragen wird, die eine taktile Empfindung von bis zu mehreren hundert Hz präsentiert, kann der Benutzer diese Vibration beim Entkorken einer Flasche nicht mit ausreichender Realitätstreue als taktile Empfindung wahrnehmen.
Um dem Benutzer ein taktiles Gefühl mit stärkerer Realitätstreue zu vermitteln, ist es daher erforderlich, eine taktile Präsentation mit einer Vibration mit Frequenzen von bis zu etwa 1 kHz durchzuführen.
Jedoch nimmt mit zunehmender Breite der in einem Signal enthaltenen Frequenzen die Datenmenge des Signals zu, sodass es sehr wahrscheinlich ist, dass eine Verzögerung bei der Übertragung und dem Empfang des Signals auftritt. Wenn die Qualität einer taktilen Empfindung verbessert wird, kann folglich eine Situation auftreten, in der die taktile Empfindung nicht zu einem geeigneten Zeitpunkt präsentiert werden kann.
Die Übertragung und der Empfang eines Signals und eine Verzögerung der taktilen Präsentation werden anhand spezifischer Beispiele beschrieben. Zunächst wird die Menge taktiler Signaldaten beschrieben. Wenn ein taktiles Signal zwischen Vorrichtungen übertragen wird, wird es zunächst in digitale Daten umgewandelt. Die Kapazität digitaler Daten wird durch die Anzahl der pro Zeiteinheit erforderlichen Bits, das heißt eine Bitrate B, dargestellt. Es sei angemerkt, dass die taktile Empfindlichkeit nicht nur von der Vibrationsfrequenz, sondern auch von der Amplitude abhängt. Beispielsweise zeigen die oben erwähnten experimentellen Ergebnisse aus 6, dass von Menschen wahrnehmbare Vibrationen eine Amplitude von etwa 50 dB (-20 dB bis 30 dB) oder mehr und eine Frequenz von etwa 1000 Hz haben. Im Folgenden wird angenommen, dass die Vibrationsamplitude ungefähr 70 dB beträgt, unter Berücksichtigung der tatsächlichen Verteilung von taktilen Informationen, die von Menschen wahrnehmbar sind.
Wird ein taktiles Signal unter Verwendung von Linearpulscodemodulation (LPCM) digitalisiert, so beträgt die Vibrationsamplitude, die durch 1 Bit ausgedrückt werden kann, 6 dB. Dementsprechend werden für eine Vibrationsamplitude von 70 dB 12 Bit benötigt. Beträgt dagegen die Vibrationsfrequenz 1000 Hz, so muss die Abtastfrequenz auf 2000 Hz verdoppelt werden, und die Bitrate B0 wird durch die folgende [Gleichung 1] erhalten. $B 0 = 12 Bit / Abtastung×2000 Abtastung / s =24 kbit / s$
Dieser Wert ist sehr klein im Vergleich zu beispielsweise der Bitrate von Compact Disc (CD) = 700 kbps/ch, was ein typisches Format für Audiosignale ist. Dementsprechend scheint es unwahrscheinlich, dass ein solches taktiles Signal, selbst wenn es zusätzlich in ein System integriert wird, ein großes Problem verursacht.
Wie oben beschrieben, ist jedoch bekannt, dass sich das Band eines taktilen Signals, das von Menschen wahrnehmbar ist, bis zu mehreren kHz erstreckt. Wird beispielsweise ein taktiles Signal mit bis zu 2000 Hz wiedergegeben, so beträgt die Bitrate 48 kbit/s, was das Doppelte der Bitrate in [Gleichung 1] ist.
Die taktile Empfindung liegt überall auf der Oberfläche des menschlichen Körpers vor, anders als der Sehsinn (zwei Augen) und der Hörsinn (zwei Ohren). Betrachtet man nur die Fingerspitzen beider Hände, gibt es 10 Stellen, und wenn alle ihre taktilen Signale verarbeitet werden sollen, wird die Bitrate weiter um das 10-fache erhöht, was 480 kbit/s entspricht. Erweitert man die Interessensstellen auf Fingerknöchel, Handflächen usw., so steigt die Bitrate dramatisch an.
Obgleich ein taktiles Signal grundsätzlich ein eindimensionales Signal ist, lässt sich das physikalische Phänomen der Vibration auf drei Achsen (x, y, z) definieren. Sollen alle dieser Achsen verarbeitet werden, so ergibt sich eine Bitrate von 1440 kbit/sec, also das Dreifache. Dieser Wert beträgt bei Audio-CDs sogar bis zu über 1411 kbit/s.
Wie oben beschrieben, nimmt die Gesamtmenge an erforderlichen taktilen Signaldaten mit Verbesserung der Reproduzierbarkeit eines taktilen Reizes und Zunahme der Anzahl der Teile des Benutzers, denen der taktile Reiz ausgesetzt wird, zu. Dementsprechend wird die Zunahme der Gesamtdatenmenge zu einer schweren Last für das Netzwerksystem, das das taktile Signal überträgt.
Man betrachte nun eine Vibration, die durch die Bewegung des „Verfolgens eines Objekts mit der Hand“ erzeugt wird, die für die taktile Empfindung von Bedeutung ist. Diese Bewegung kann in drei Phasen unterteilt werden: eine Person berührt das Objekt, bewegt dann die Hand entlang der Oberfläche des Objekts und löst schließlich die Hand von dem Objekt. Unter Konzentration auf die durch diese Reihe von Bewegungen erzeugten Vibrationswellenformen sind der „Berührungsmoment“ und der „Freigabemoment“ zeitlich sehr kurz, weisen jedoch jeweils eine abrupte Intensitätsänderung auf. Dagegen weist die Vibrationswellenform während der Bewegung der Hand entlang der Oberfläche des Objekts einen relativ langen Zeitrahmen auf und ist gleichförmig.
In der vorliegenden Beschreibung wird ein Zustand, in dem ein Teil, dem ein taktiles Signal gegeben werden soll, ein Objekt berührt, einschließlich einer Person, die das Objekt berührt und dann die Hand entlang der Oberfläche des Objekts bewegt, bis die Person schließlich die Hand von dem Objekt löst, als Berührungszustand definiert. Darüber hinaus wird der Zustand, in dem ein Teil, dem ein taktiles Signal gegeben werden soll, das Objekt nicht berührt, als Nicht-Berührungszustand definiert.
Der Abschnitt eines taktilen Signals, der durch eine Reihe von Bewegungen des „Verfolgens eines Objekts mit der Hand“ erzeugt wird, das heißt ein Signalabschnitt, der in dem taktilen Signal einen Berührungszustand mit dem Objekt angibt, wird als ein Berührungssignalabschnitt definiert. Darüber hinaus wird in dem Berührungssignalabschnitt ein Signalabschnitt, der die Grenze zwischen dem Berührungszustand und dem Nicht-Berührungszustand mit dem Objekt, wie etwa „dem Moment, wenn die Hand das Objekt berührt“ oder „dem Moment, wenn die Hand das Objekt verlässt“, als erster Signalabschnitt definiert. Ferner wird in dem Berührungssignalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt, wie etwa „der Zustand, in dem die Hand auf dem Objekt platziert ist“ oder „der Zustand, in dem sich die Hand entlang der Oberfläche des Objekts bewegt“, als zweiter Signalabschnitt definiert.
7 ist ein Diagramm, das eine Vibrationswellenform 70 eines taktilen Signals veranschaulicht, wenn eine Person ein Objekt 79 mit einer Hand 78 verfolgt. In der Vibrationswellenform 70 ist eine starke Pulswellenform wie ein Signalabschnitt 73 in dem Moment zu beobachten, in dem die in einer Szene 72 dargestellte Hand 78 das Objekt 79 nach dem Zustand, in dem die in einer Szene 71 dargestellte Hand 78 das Objekt 79 verlässt, berührt. Es ist bekannt, dass Vibrationsintensität, Timing, Tonhöhe, Wellenformdämpfungsrate und dergleichen in diesem „Berührungsmoment“ die Wahrnehmung der Härte des Objekts und wie schnell die Person das Objekt 79 berührt, beeinflussen können. Der Signalabschnitt 73, der die Grenze zwischen dem Berührungszustand und dem Nicht-Berührungszustand der Hand 78 und des Objekts 79 umfasst, wird als der erste Signalabschnitt definiert. Dieser Signalabschnitt 73 ist zeitlich sehr kurz.
Andererseits ist, wie in der nachfolgenden Szene 75 dargestellt, für die Bewegung der Hand 78 auf dem Objekt 79 die Wellenform eines Signalabschnitts 74 mit einer allmählichen Amplitudenänderung zu beobachten. Die Vibration während dieser Periode beeinflusst die Texturwahrnehmung des Objekts 79, wie z. B. glatt und rau, und die Tonhöhe und Amplitude der Wellenform sind signifikante Faktoren.
Der Signalabschnitt 74 in dem Zustand, in dem der Berührungszustand der Hand 78 und des Objekts 79 aufrechterhalten wird, wird als der zweite Signalabschnitt definiert.
Schließlich ist, wie in einer Szene 76 dargestellt, wenn die Hand 78 das Objekt 79 verlässt, die Wellenform des entsprechenden Signalabschnitts 77 kurzzeitig und weist eine abrupte Intensitätsänderung auf, und es wird angenommen, dass sie ähnliche Eigenschaften wie die Wellenform zum Zeitpunkt der Berührung in dem Signalabschnitt 73 aufweist. Der Signalabschnitt 77, der die Grenze zwischen dem Berührungszustand und dem Nicht-Berührungszustand der Hand 78 und des Objekts 79 umfasst, wird als der erste Signalabschnitt definiert.
Die Reihe von Signalabschnitten einschließlich des Signalabschnitts 73, des Signalabschnitts 74 und des Signalabschnitts 77 werden als ein Berührungssignalabschnitt 200 bezeichnet, der einen Berührungszustand mit dem Objekt 79 in dem taktilen Signal angibt.
Unterteilt man nun das Signal in den Signalabschnitt 73 und den Signalabschnitt 77 (erste Signalabschnitte), die jeweils eine abrupte Intensitätsänderung aufweisen, und den gleichförmigen Signalabschnitt 74 (zweiter Signalabschnitt), so weist der erste Signalabschnitt hinsichtlich der Art der Wahrnehmung mehr zu bewahrende Merkmale auf, und außerdem sind die Merkmale komplexer. Dementsprechend ist es wünschenswert, ein Codierverfahren mit hoher Qualität unter Verwendung einer relativ hohen Bitrate anzuwenden, beispielsweise eine Wellenformcodierung wie etwa Advanced Audio Codec (AAC) und eine verlustfreie Komprimierungscodierung wie etwa Free Lossless Audio Codec (FLAC).
Dagegen weist der letztgenannte gleichförmige zweite Signalabschnitt eine allmähliche zeitliche Änderung auf. Dementsprechend gibt es in dem zweiten Signalabschnitt wenig Informationsverlust, selbst wenn Langzeitsignale kollektiv codiert werden, gibt es wenige zu bewahrende Merkmale und sind die Merkmale außerdem einfach. Daher wird erwartet, dass Menschen eine Signalverschlechterung weniger wahrscheinlich wahrnehmen, selbst bei Verwendung eines Verfahrens, das die Signalenergiewiedergabe mit hoher Kompressionsrate betont, wie etwa Code Excited Linear Prediction (CELP) oder Harmonic Vector Excitation Coding (HVXC); oder eines Codierverfahrens mit niedriger Qualität, das eine niedrigere Bitrate als das Codierverfahren mit hoher Qualität verwendet, wie etwa parametrisches Codieren, bei dem äquivalente Signale aus den oben erwähnten zu bewahrenden Merkmalen synthetisiert werden.
Um den Kurzzeitabschnitt wie den Signalabschnitt 73 und den Signalabschnitt 77 gut wiederzugeben, weist daher, wenn der Langzeitsignalabschnitt 74 auch durch das Codierverfahren mit hoher Qualität codiert wird, das taktile Signal eine Menge an redundanten Informationen als Ganzes auf, was zu einer verringerten Kompressionseffizienz führt. Eine Erhöhung der Gesamtdatenmenge aufgrund einer solchen verringerten Kompressionseffizienz verursacht auch eine Verzögerung der Übertragung und des Empfangs des taktilen Signals.
Darüber hinaus kann als Verzögerungsfaktor ein anderer Faktor als die Gesamtdatenmenge, wie oben beschrieben, in Frage kommen.
Wird beispielsweise ein taktiles Signal durch drahtlose Kommunikation übertragen, so können die codierten taktilen Daten Dc für das taktile Signal aufgrund einer Störung auf dem Übertragungsweg oder dergleichen verloren gehen. Tritt ein Datenverlust auf, so werden die Daten von der Vorrichtung auf der Übertragungsseite erneut übertragen, und es kann zu einer Verzögerung der durch die Empfangsseite zum Abschluss des Empfangs der Daten benötigten Zeit kommen. Mit anderen Worten, mit Zunahme der Kapazität der erneut zu übertragenden Daten nimmt die zum erneuten Übertragen der dem Datenverlust entsprechenden Daten erforderliche Zeit zu, und folglich kann die Zeit, zu der die Übertragung und der Empfang des taktilen Signals erfolgreich abgeschlossen werden, weiter verzögert werden.
Wie oben beschrieben kann sich eine Verzögerung des Zeitpunkts des Abschließens der Übertragung eines taktilen Signals nachteilig auf die Reproduzierbarkeit der taktilen Empfindung auswirken. Insbesondere wird dem Benutzer (Empfänger) ein taktiler Reiz nicht zu einem geeigneten Zeitpunkt gegeben, sodass eine Situation auftreten kann, in der der taktile Reiz nicht mit einem Inhalt synchronisiert ist, der mit anderen Empfindungen wie Video und Ton zusammenhängt.
Als Nächstes wird die Anwendung einer spezifischen Art von drahtloser Kommunikation unter Berücksichtigung der oben erwähnten Situation beschrieben.
Da die Vorrichtung zum Durchführen der taktilen Präsentation so installiert ist, dass sie mit dem Benutzer in Kontakt ist, ist es angesichts des Gewichts der Vorrichtung im Allgemeinen erwünscht, drahtlos mit anderen Vorrichtungen zu kommunizieren. Wenn jedoch eine Breitband-Drahtlosverbindung wie Wi-Fi (eingetragene Marke) verwendet wird, wird die Batterie der Vorrichtung im Hinblick auf den Energieverbrauch groß, sodass der Komfort für den Benutzer verringert sein kann. Ferner dauert es bei Verwendung von Wi-Fi im Allgemeinen eine Verarbeitungszeit für die Prozeduren von einer Signalübertragungsanforderung der übertragungsseitigen Vorrichtung bis zur Empfangsverarbeitung der empfangsseitigen Vorrichtung, sodass es im Vergleich zu anderen Arten von drahtlosen Verbindungen zu einer größeren Verzögerung kommen kann.
Dagegen ermöglicht eine drahtlose Verbindung mit kurzer Reichweite wie Bluetooth eine Kommunikation mit geringem Energieverbrauch und geringer Verzögerung im Vergleich zu anderen Arten drahtloser Verbindung, sodass sie für die Übertragung eines taktilen Signals geeignet sein kann. Jedoch ist bei der drahtlosen Verbindung mit kurzer Reichweite die zulässige Datenmenge, die gleichzeitig übertragen werden kann, geringer als bei anderen Arten drahtloser Verbindung. Beispielsweise kann beim Übertragen eines Inhalts, der einem Benutzer einen taktilen Reiz gibt, während er mit Video und Ton synchronisiert wird, eine Situation auftreten, in der die der Übertragung eines taktilen Signals zugewiesene Kommunikationskapazität nicht ausreicht.
Darüber hinaus kann bei einem Dienst zum Streamen von Video und Audio über das Internet, wenn beispielsweise eine zusätzliche taktile Empfindung an den Benutzer übertragen werden soll, eine Situation auftreten, in der die der Übertragung eines taktilen Signals zugewiesene Kommunikationskapazität aufgrund der Dienstgüte(QoS)-Funktion gemäß dem Leitungszustand des Netzes nicht ausreicht.
Angesichts der obigen Umstände zielt die vorliegende Ausführungsform darauf ab, sowohl eine geringe Verzögerung des taktilen Signals als auch eine Unterdrückung der Verschlechterung der taktilen Reproduzierbarkeit zu erreichen, indem die zu übertragende Datenmenge reduziert wird, ohne die taktile Reproduzierbarkeit so weit wie möglich zu beeinträchtigen.
[6-2. Codierverfahren]
8 ist ein Funktionsblockdiagramm, das die Funktionen der Codiereinheit 24 darstellt. Wie dargestellt, umfasst die Codiereinheit 24 eine Signaleingabeeinheit 80, eine erste Pufferverarbeitungseinheit 86, eine Bestimmungseinheit 82, eine erste Codiereinheit 83, eine zweite Pufferverarbeitungseinheit 87, eine zweite Codiereinheit 84 und einen Ausgabeeinheit 85 für ein codiertes Signal.
Ein zu codierendes taktiles Signal 81 wird von der Vorverarbeitungseinheit 23 in die Signaleingabeeinheit 80 eingegeben.
Die erste Pufferverarbeitungseinheit 86 umfasst einen ersten Pufferspeicher, der zum Bestimmen eines ersten Signalabschnitts und eines zweiten Signalabschnitts verwendet wird, um das in die Signaleingabeeinheit 80 eingegebene taktile Signal 81 zu puffern.
Wie in 7 dargestellt, bestimmt die Bestimmungseinheit 82 beispielsweise einen ersten Signalabschnitt (Signalabschnitt 73, 77), der ein Teil des Berührungssignalabschnitts 200 in dem taktilen Signal ist und die Grenze zwischen dem Berührungszustand und dem Nichtberührungszustand des Objekts 79 und der Hand 78 umfasst, und einen zweiten Signalabschnitt (Signalabschnitt 74), der ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt 200 ist.
Die Bestimmungseinheit 82 bestimmt den ersten Signalabschnitt beispielsweise basierend auf dem Ergebnis des Durchführens einer Wellenformanalyse an dem taktilen Signal 81. Die Bestimmungseinheit 82 bestimmt außerdem, dass der andere Signalabschnitt als der erste Signalabschnitt der zweite Signalabschnitt ist.
Eine typische Wellenformanalyse beim Bestimmen des ersten Signalabschnitts ist eine Signalanstiegsdetektion basierend auf einer Amplitudenänderungsrate des taktilen Signals. Die steigende Flanke dieses Signals wird durch ein bekanntes Signalverarbeitungsverfahren ausgeführt.
Hier kann die Bestimmungseinheit 82 den ersten Signalabschnitt bestimmen, indem eine Anstiegsdetektion durchgeführt wird, die auf den Gebieten Signalintensitätsänderungsrate, Frequenzspektrum und sonstige Signalverarbeitung bekannt ist.
Die Bestimmungseinheit 82 kann den ersten Signalabschnitt auch basierend auf dem Abstand zwischen dem Objekt und dem taktilen Sensor oder der Erkennung des Auftretens einer Berührung bestimmen, die durch verschiedene andere Arten von Sensoren detektiert wird.
Ferner kann die Bestimmungseinheit 82 ein Codierverfahren unter Verwendung von Metadaten (gekennzeichnete Codierqualität) bestimmen, die von dem Ersteller (Betreiber) bereitgestellt werden.
Ferner kann als Bestimmungseinheit 82 eine Bestimmungsvorrichtung verwendet werden, die maschinelles Lernen mit einer großen Anzahl von Vibrationssignalen durchführt, um automatisch den Zielabschnitt aus der Eingangswellenform zu bestimmen.
Die Bestimmung des ersten Signalabschnitts durch die Bestimmungseinheit 82 kann die vorteilhaften Wirkungen der vorliegenden Technologie auf allgemeine Signale erweitern, die dem Moment der Berührung einer Person mit dem Objekt 79 und dem Moment der Loslösung der Person von dem Objekt 79 bei taktiler Empfindung entsprechen.
Wird bestimmt, dass das gesamte oder ein Teil des taktilen Signals 81 der erste Signalabschnitt ist, so überträgt die Bestimmungseinheit 82 den entsprechenden Abschnitt, wenn es ein Teil ist, oder das gesamte taktile Signal 81, wenn es das gesamte ist, an die erste Codiereinheit 83.
Die Bestimmungseinheit 82 überträgt außerdem den zweiten Signalabschnitt des taktilen Signals 81, der nicht an die erste Codiereinheit 83 übertragen wird, an die zweite Pufferverarbeitungseinheit 87.
Die erste Codiereinheit 83 codiert das taktile Signal in dem von der Bestimmungseinheit 82 empfangenen ersten Signalabschnitt durch ein Codierverfahren mit hoher Bitrate, um erste codierte Daten (codierte taktile Daten Dc) zu erzeugen. In der folgenden Beschreibung wird das Codierverfahren mit hoher Bitrate auch als Codierverfahren mit hoher Qualität bezeichnet.
Hier ist das für den ersten Signalabschnitt verwendete Codierverfahren mit hoher Qualität wünschenswerterweise ein Verfahren, bei dem eine relativ hohe Rate verwendet wird, die komplexe Wellenforminformationen, wie etwa Signalimpulshöhe, -breite und -timing sowie Energieänderungsrate, mit hoher Zeitauflösung wiederherstellen kann. Beispielsweise sind Wellenformcodierung wie AAC und verlustfreie Kompressionscodierung wie FLAC anwendbar.
Die zweite Pufferverarbeitungseinheit 87 umfasst einen zweiten Pufferspeicher zum Puffern des empfangenen Signals gemäß dem Ergebnis der Bestimmung des Signalabschnitts von der Bestimmungseinheit 82.
Die zweite Codiereinheit 84 codiert das Signal in dem zweiten Signalabschnitt, der durch die zweite Pufferverarbeitungseinheit 87 gepuffert wird, durch ein Codierverfahren, bei dem eine Bitrate verwendet wird, die niedriger als die des Codierverfahrens mit hoher Qualität für den ersten Signalabschnitt ist, um zweite codierte Daten (codierte taktile Daten Dc) zu erzeugen. In der folgenden Beschreibung wird das Codierverfahren, bei dem eine niedrigere Bitrate als die des Codierverfahrens mit hoher Qualität verwendet wird, auch als Codierverfahren mit niedriger Qualität bezeichnet.
Hier ist es bei dem für den zweiten Signalabschnitt verwendeten Codierverfahren mit niedriger Qualität wünschenswert, eine kleine Anzahl von Parametern, wie etwa Energie und Tonhöhe, mit einem langen Zeitrahmen zu codieren. Insbesondere ist eine solche Codierung ein Verfahren, das Signalenergie und Tonhöhenwiedergabe mit hoher Kompressionsrate betont, wie etwa CELP und HVXC, oder ein parametrisches Codierverfahren, das ein äquivalentes Signal aus den oben erwähnten zu bewahrenden Merkmalen synthetisiert.
Von solchen Parametern kann beispielsweise eine Energie durch die folgende [Gleichung 2] unter Verwendung eines Effektivwerts eines Signals f[n] berechnet werden.
[Gl. 1] $E = \sqrt{\frac{\sum_{n = 0}^{N - 1} ƒ {[n]}^{2}}{N}}$
Ein typisches Verfahren zum Erfassen einer Tonhöhe ist ein Verfahren zum Ermitteln eines Spitzenpunkts m_0 einer Autokorrelationsfunktion für Signale, wie durch die folgende [Gleichung 3] dargestellt, und Verwenden des Kehrwerts der entsprechenden Zeit als eine Tonhöhenfrequenz.
[Gl. 2] $R [m] = \sum_{n = 0}^{N - 1} ƒ [n] ƒ [n - m]$
Die Ausgabeeinheit 85 für codierte Signale gibt die durch die erste Codiereinheit 83 erzeugten ersten codierten Daten und die durch die zweite Codiereinheit 84 erzeugten zweiten codierten Daten aus.
9 stellt ein Datenformatbeispiel der codierten taktilen Daten Dc dar. In 9 ist ein Datenformat für einen Frame der codierten taktilen Daten Dc als Beispiel dargestellt.
Eine Kennung 100 wird am Anfang eines Frame-Headers gespeichert, der als assoziierte Information zu dem Signal hinzugefügt wird, die Abtastfrequenz des Signals wird in einem Feld 101 aufgezeichnet und die Quantisierungsauflösung des Signals wird in einem Feld 102 aufgezeichnet. Ferner wird in einem Feld 103 eine Codierverfahren-ID (Identifikation) zum Identifizieren, ob die Daten durch ein Codierverfahren mit hoher Qualität oder ein Codierverfahren mit niedriger Qualität codiert wurden, gespeichert. Beispielsweise wird „0“ für das Codierverfahren mit hoher Qualität gespeichert und „1" für das Codierverfahren mit niedriger Qualität gespeichert. In einem Feld 104 wird die Anzahl der in diesem Frame enthaltenen Signalabtastwerte gespeichert, und in einem Feld 105 werden Signaldaten gespeichert.
Unter Bezugnahme auf das Flussdiagramm von 10 wird ein Beispiel einer Verarbeitungsprozedur zum Implementieren des Codierverfahrens als die oben beschriebene Ausführungsform beschrieben. Die in 10 dargestellte Verarbeitung ist eine Verarbeitung zum Erzeugen der codierten taktilen Daten Dc für einen Frame und wird für jeden Frame wiederholt ausgeführt.
Die Verarbeitung zum Implementieren des Codierverfahrens in der Codiereinheit 24 kann als Softwareverarbeitung implementiert werden. Alternativ kann sie durch Hardware oder eine Kombination aus Software und Hardware implementiert werden.
Zunächst erfasst die Codiereinheit 24 in Schritt S110 ein zu codierendes taktiles Signal von der Vorverarbeitungseinheit 23.
In dem auf den Schritt S110 folgenden Schritt S 111 puffert die Codiereinheit 24 das erfasste taktile Signal, um einen ersten Signalabschnitt und einen zweiten Signalabschnitt zu bestimmen. Dies ist die Verarbeitung, die der oben erwähnten ersten Pufferverarbeitungseinheit 86 entspricht.
In dem auf den Schritt S 111 folgenden Schritt S112 bestimmt die Codiereinheit 24, ob der Signalabschnitt des erfassten taktilen Signals ein erster Signalabschnitt, der unter Verwendung des Codierverfahrens mit hoher Qualität zu codieren ist, oder ein zweiter Signalabschnitt, der unter Verwendung des Codierverfahrens mit niedriger Qualität zu codieren ist, ist.
Zu diesem Zeitpunkt bestimmt die Codiereinheit 24 beispielsweise basierend auf einem Vergleich zwischen der Amplitudenänderungsrate des taktilen Signals und einem vorbestimmten Schwellenwert eine steigende Flanke des Signals, wie in dem Signalabschnitt 73 von 7 dargestellt, und eine fallende Flanke des Signals, wie in dem Signalabschnitt 77 dargestellt. Die Codiereinheit 24 bestimmt den Signalabschnitt, in dem eine solche steigende Flanke oder fallende Flanke des Signals detektiert wird, als den ersten Signalabschnitt. Die Codiereinheit 24 bestimmt außerdem den Signalabschnitt, in dem eine steigende Flanke oder eine fallende Flanke des Signals nicht detektiert wird, als den zweiten Signalabschnitt.
Die Codiereinheit 24 kann außerdem eine steigende Flanke oder eine fallende Flanke des Signals basierend auf einer Intensitätsverteilung bestimmen, wobei das taktile Signal unter Verwendung des Frequenzspektrums des taktilen Signals in seine Frequenzkomponenten zerlegt wird.
Die Codiereinheit 24 kann außerdem den ersten Signalabschnitt und den zweiten Signalabschnitt basierend auf Abschnittsinformationen über den ersten Signalabschnitt und den zweiten Signalabschnitt, die zu dem taktilen Signal 81 hinzugefügt werden, bestimmen. Die Abschnittsinformationen werden beispielsweise wie oben beschrieben durch die Arbeit eines Erstellers als Metadaten bereitgestellt.
Ein Beispiel für die Verwendung von zu dem taktilen Signal hinzugefügten Metadaten, um den ersten Signalabschnitt und den zweiten Signalabschnitt zu bestimmen, wird nun beschrieben. 11 stellt ein Datenformatbeispiel der codierten taktilen Daten Dc dar. 11 stellt ein Datenformat für einen Frame eines in die Codiereinheit 24 eingegebenen taktilen Signals dar. Als Beispiel für das Datenformat wird hier eine WAVE-Datei verwendet.
In der WAVE-Datei werden Header-Informationen einschließlich Formatinformationen wie Abtastfrequenz, Quantisierungsauflösung und Anzahl der Kanäle in einem Feld 130 am Anfang gespeichert, und Signaldaten werden in einem Feld 131 gespeichert.
In der vorliegenden Ausführungsform werden Metadaten zum Bestimmen des ersten Signalabschnitts, der durch das Codierverfahren mit hoher Qualität zu codieren ist, oder des zweiten Signalabschnitts, der durch das Codierverfahren mit niedriger Qualität zu codieren ist, am Ende dieser Daten hinzugefügt. In der folgenden Beschreibung wird die Codierung durch das Codierverfahren mit hoher Qualität auch als Codierung mit hoher Qualität bezeichnet, und die Codierung durch das Codierverfahren mit niedriger Qualität wird auch als Codierung mit niedriger Qualität bezeichnet.
Hier wird für einen Kanal für ein Ziel, das der Codierung mit hoher Qualität unterzogen werden soll, ein Beispiel dargestellt, bei dem die Anzahl von Abtastungen vom Anfang der Datei an jedem des Startpunkts und des Endpunkts des ersten Signalabschnitts zugewiesen ist. Eine Kanal-ID des Ziels, das der Codierung mit hoher Qualität unterzogen werden soll, wird in einem Feld 132 gespeichert, die Anzahl von Startabtastwerten wird in einem Feld 133 gespeichert und die Anzahl von Endabtastwerten, die der Codierung mit hoher Qualität unterzogen werden sollen, wird in einem Feld 134 gespeichert. Gibt es mehrere erste Signalabschnitte, die der Codierung mit hoher Qualität unterzogen werden sollen, so kann eine Gruppe von Feldern 132, 133 und 134 mit einer der Anzahl von Abschnitten entsprechenden Anzahl hinzugefügt werden.
In diesem Fall prüft die Codiereinheit 24 im Voraus die Enddaten (Felder 132, 133, 134) der zu codierenden Signaleingabe in Schritt S112 von 10 und bestimmt, ob der gegenwärtig gepufferte Signalabschnitt der durch die Metadaten angegebene Signalabschnitt ist oder nicht.
Wenn die Codiereinheit 24 bestimmt, dass es der erste Signalabschnitt ist, der der Codierung mit hoher Qualität unterzogen werden soll, geht die Verarbeitung von Schritt S 112 zu Schritt S 113 über, um die Codierung mit hoher Qualität an dem ersten Signalabschnitt durchzuführen. Mit anderen Worten, die Codiereinheit 24 führt eine Codierung durch ein Codierverfahren unter Verwendung einer Bitrate durch, die höher ist als bei der Codierung mit niedriger Qualität.
In dem auf Schritt S113 folgenden Schritt S114 erzeugt die Codiereinheit 24 erste Codierdaten, denen eine Codierverfahren-ID zugewiesen wird, die dem Codierverfahren mit hoher Qualität entspricht. Danach geht die Verarbeitung in der Codiereinheit 24 zu Schritt S118 über.
Bestimmt die Codiereinheit 24 in Schritt S112 dagegen, dass es der von dem ersten Signalabschnitt verschiedene zweite Signalabschnitt ist, der der Codierung mit hoher Qualität unterzogen werden soll, so geht die Verarbeitung zu Schritt S 115 über, und dann wird das taktile Signal gepuffert, bis es die Codierung mit niedriger Qualität ermöglicht.
In der vorliegenden Ausführungsform verwendet die Codierung mit hoher Qualität eine kürzere Umwandlungslänge, und die Codierung mit niedriger Qualität verwendet eine längere Umwandlungslänge als die Codierung mit hoher Qualität. Daher wird, wenn bestimmt wird, dass die Codierung mit hoher Qualität nicht erforderlich ist, das taktile Signal möglicherweise nicht ausreichend gepuffert, um die Codierung mit niedriger Qualität zu ermöglichen. Dementsprechend puffert die Codiereinheit 24 in Schritt S 115 das taktile Signal für die Anzahl von Abtastungen, die durch die Codierung mit niedriger Qualität erforderlich ist. Dies ist die Verarbeitung, die der oben erwähnten zweiten Pufferverarbeitungseinheit 87 entspricht.
In dem auf Schritt S115 folgenden Schritt S116 führt die Codiereinheit 24 die Codierung mit niedriger Qualität an dem zweiten Signalabschnitt durch. Insbesondere führt die Codiereinheit 24 eine Codierung durch ein Codierverfahren unter Verwendung einer niedrigeren Bitrate als bei der Codierung mit hoher Qualität durch.
In dem auf Schritt S116 folgenden Schritt S117 erzeugt die Codiereinheit 24 zweite Codierdaten, denen eine Codierverfahren-ID zugewiesen wird, die dem Codierverfahren für die Codierung niedriger Qualität entspricht. Danach geht die Verarbeitung in der Codiereinheit 24 zu Schritt S118 über.
In Schritt S118 bestimmt die Codiereinheit 24, ob das gesamte Signal codiert wurde oder nicht, das heißt, ob die Verarbeitung zum Erzeugen der ersten codierten Daten und der zweiten codierten Daten für alle Kanäle für das taktile Signal abgeschlossen wurde oder nicht.
Wenn die Verarbeitung für alle Signalabschnitte nicht abgeschlossen ist, kehrt die Verarbeitung in der Codiereinheit 24 zu Schritt S 111 zurück. Als Ergebnis wird für den nächsten Abschnitt die gleiche Verarbeitung wie für einen Frame ausgeführt. Ist dagegen die Verarbeitung für alle Signalabschnitte abgeschlossen, so endet eine in 11 dargestellte Verarbeitungsreihe in der Codiereinheit 24. Gibt es mehrere Kanäle, so führt die Codiereinheit 24 die in 11 dargestellte Verarbeitung für alle Kanäle aus.
In der vorliegenden Ausführungsform wurde ein Beispiel beschrieben, in dem die Umwandlungslänge des Codierverfahrens mit niedriger Qualität länger als die des Codierverfahrens mit hoher Qualität ist. Die vorliegende Technologie kann jedoch auch auf den Fall angewendet werden, in dem die Umwandlungslängen des Codierverfahrens mit niedriger Qualität und des Codierverfahrens mit hoher Qualität gleich sind.
In diesem Fall puffert die Codiereinheit 24 in Schritt S111 immer eine Anzahl von Abtastwerten gleich der Umwandlungslänge und wendet zu jeder Zeit nur eine Art von Codierqualität auf jedes gepufferte Signal an. Als Ergebnis ist das in Schritt S115 durchgeführte Puffern vor der Codierung durch die Codierung mit niedriger Qualität in Schritt S 116 nicht erforderlich, wie in 12 dargestellt. Durch derartiges Angleichen der Umwandlungslängen der Codierung mit niedriger Qualität und der Codierung mit hoher Qualität wird die Verarbeitungslast der Codiereinheit 24 reduziert.
[6-3. Decodierverfahren]
Die Funktionen der Kombiniereinheit 33 und der Decodiereinheit 34 in der Decodiervorrichtung 3 werden unter Bezugnahme auf 4 beschrieben. Die Decodiereinheit 34 umfasst eine erste Decodiereinheit 34a und eine zweite Decodiereinheit 34b.
Die erste Decodiereinheit 34a decodiert die ersten codierten Daten, die durch Durchführen der Codierung mit hoher Qualität an dem ersten Signalabschnitt erhalten werden, der ein Teil des Berührungssignalabschnitts ist. Die erste Decodiereinheit 34a überträgt erste Wellenformdaten, die durch Decodieren der ersten codierten Daten erhalten werden, an die Kombiniereinheit 33.
Die zweite Decodiereinheit 34b decodiert die zweiten codierten Daten, die durch Durchführen der Codierung mit niedriger Qualität an dem zweiten Signalabschnitt erhalten werden, der ein Signalabschnitt außer dem ersten Signalabschnitt ist. Die zweite Decodiereinheit 34b überträgt zweite Wellenformdaten, die durch Decodieren der zweiten codierten Daten erhalten werden, an die Kombiniereinheit 33.
Die Kombiniereinheit 33 kombiniert die durch Decodieren der ersten codierten Daten erhaltenen ersten Wellenformdaten und die durch Decodieren der zweiten codierten Daten erhaltenen zweiten Wellenformdaten.
Die Kombiniereinheit 33 bestimmt, ob die aktuell ausgegebenen Wellenformdaten solche sind, die durch ein Codierverfahren codiert wurden, das sich von dem für die aktuell decodierten Wellenformdaten, die auf ihre Ausgabe warten, unterscheidet.
Sind ihre Codierverfahren gleich, so führt die Kombiniereinheit 33 eine geeignete Nachverarbeitung an dem Signal durch und gibt es gemäß dem Codierverfahren aus. Insbesondere werden bei dieser Nachverarbeitung die auszugebenden Wellenformdaten und die ausgegebenen Wellenformdaten einer normalerweise in dem Codierverfahren durchzuführenden Kombinationsverarbeitung unterzogen, während eine Kombinationsverarbeitung, die eine später beschriebene Überblendung beinhaltet, nicht durchgeführt wird.
Unterscheiden sich dagegen ihre Codierverfahren, so kann die Anzahl der Signalabtastungen und die Handhabung des Abschlusses zwischen den Codierverfahren unterschiedlich sein, und wenn das Signal unverändert ausgegeben wird, kann eine unangenehme diskontinuierliche Wellenform auftreten. Daher führt, wenn decodierte Daten, die den durch ein anderes Codierverfahren codierten Wellenformdaten folgen, ausgegeben werden, die Kombiniereinheit 33 eine Signalverarbeitung durch, sodass die zwei Daten nahtlos kombiniert werden.
Die Kombiniereinheit 33 führt eine Überblendungsverarbeitung an einem kombinierten Abschnitt zwischen den ersten Wellenformdaten und den zweiten Wellenformdaten durch, die ursprünglich beispielsweise durch unterschiedliche Codierverfahren codiert wurden.
Wie in 13 dargestellt wird, wenn erste Wellenformdaten 91, die ursprünglich der Codierung mit hoher Qualität unterzogen wurden, und zweite Wellenformdaten 92, die ursprünglich der Codierung mit niedriger Qualität unterzogen wurden, kontinuierlich ausgegeben werden, ein Abschnitt 93, in dem sich die ersten Wellenformdaten 91 und die zweiten Wellenformdaten 92 überlappen, definiert, und Datenelemente in diesem Abschnitt werden jeweils multipliziert und mit einem Koeffizienten aufaddiert, sodass die Summe der Datenelemente „1“ wird, sodass es möglich ist, die ersten Wellenformdaten 91 und die zweiten Wellenformdaten 92 nahtlos zu kombinieren, um eine Ausgangswellenform 94 zu erhalten. Dasselbe gilt für den Fall, in dem die zweiten Wellenformdaten 92, die ursprünglich der Codierung mit niedriger Qualität unterzogen wurden, und die ersten Wellenformdaten 91, die ursprünglich der Codierung mit hoher Qualität unterzogen wurden, kontinuierlich ausgegeben werden.
Die Kombiniereinheit 33 kann eine andere bekannte Verarbeitung als die Überblendungsverarbeitung für die Verarbeitung zum Kombinieren der ersten codierten Daten und der zweiten Wellenformdaten verwenden.
Unter Bezugnahme auf das Flussdiagramm von 14 wird ein Beispiel einer Verarbeitungsprozedur zum Implementieren des Decodierverfahrens als die oben beschriebene Ausführungsform beschrieben. Die in 14 dargestellte Verarbeitung ist eine Verarbeitung zum Decodieren der codierten taktilen Daten Dc für einen Frame, um ein taktiles Signal zu erhalten, und wird für jeden Frame wiederholt ausgeführt.
Die Verarbeitung zum Implementieren des Codierverfahrens in der Decodiervorrichtung 3 kann als Softwareverarbeitung implementiert werden. Alternativ kann sie durch Hardware oder eine Kombination aus Software und Hardware implementiert werden.
Zunächst erfasst die Decodiereinheit 34 der Decodiervorrichtung 3 die codierten taktilen Daten Dc in Schritt S140. In dem auf Schritt S140 folgenden Schritt S141 erfasst die Decodiereinheit 34 die Codierverfahren-ID aus den codierten taktilen Daten Dc.
In dem auf Schritt S141 folgenden Schritt S142 bestimmt die Decodiereinheit 34 basierend auf der erfassten Codierverfahren-ID, ob es sich bei den codierten taktilen Daten Dc um die ersten codierten Daten, die durch das Codierverfahren mit hoher Qualität codiert sind, oder die zweiten codierten Daten, die durch das Codierverfahren mit niedriger Qualität codiert sind, handelt.
Gibt die Codierverfahren-ID eine Codierung durch das Codierverfahren mit hoher Qualität an, so geht die Verarbeitung in der Decodiereinheit 34 von Schritt S142 zu Schritt S143 über, um die ersten codierten Daten durch ein dem Codierverfahren mit hoher Qualität entsprechendes Decodierverfahren zu decodieren. Die Decodiereinheit 34 überträgt erste Wellenformdaten, die durch Decodieren der ersten codierten Daten erhalten werden, an die Kombiniereinheit 33.
Danach geht die Verarbeitung in der Decodiereinheit 34 von Schritt S143 zu Schritt S145 über.
Gibt dagegen die Codierverfahren-ID eine Codierung durch das Codierverfahren mit niedriger Qualität an, so geht die Verarbeitung in der Decodiereinheit 34 von Schritt S142 zu Schritt S 144 über, um die zweiten codierten Daten durch ein dem Codierverfahren mit niedriger Qualität entsprechendes Decodierverfahren zu decodieren. Die Decodiereinheit 34 überträgt zweite Wellenformdaten, die durch Decodieren der zweiten codierten Daten erhalten werden, an die Kombiniereinheit 33.
Danach geht die Verarbeitung in der Decodiereinheit 34 von Schritt S144 zu Schritt S145 über.
In Schritt S145 bestimmt die Kombiniereinheit 33 der Decodiervorrichtung 3, ob sich das Codierverfahren für die durch die Decodiereinheit 34 decodierten Wellenformdaten, die aktuell auf ihre Ausgabe warten, und das Codierverfahren für die Wellenformdaten, die aktuell ausgegeben werden, voneinander unterscheiden oder nicht.
Unterscheiden sich die Codierverfahren, so geht die Verarbeitung in der Kombiniereinheit 33 von Schritt S145 zu Schritt S146 über, um die Überblendungsverarbeitung, wie in 9 dargestellt, an dem kombinierten Abschnitt zwischen den zwei Elementen von Wellenformdaten durchzuführen.
Einzelheiten der durch die Kombiniereinheit 33 ausgeführten Überblendungsverarbeitung werden nun unter Bezugnahme auf 15 und 16 beschrieben.
Wie in 15 dargestellt, leitet die Kombiniereinheit 33 ein decodiertes Signal 150, das in Schritt S143 oder Schritt S144 von 14 decodiert wurde, durch einen Block 151, der das decodierte Signal 150 durch Puffern oder dergleichen um einen Frame verzögert.
Dann vergleicht die Kombiniereinheit 33 das durch den Block 151 geleitete verzögerte Signal (auf Ausgabe wartende Wellenformdaten) mit dem letzten decodierten Signal 150 (aktuell ausgegebene Wellenformdaten).
Sind die Codierverfahren für das verzögerte Signal und das decodierte Signal 150 gleich, so kombiniert die Kombiniereinheit 33 das letzte decodierte Signal 150 durch normale Kombinationsverarbeitung mit dem verzögerten Signal, wie in 15 veranschaulicht, um eine taktile Ausgabe 147 zu erzeugen. Eine Additionseinheit 155 in der Figur stellt dar, dass das decodierte Signal 150 auf eine solche Weise mit dem verzögerten Signal kombiniert wird.
Unterscheiden sich die Codierverfahren für das verzögerte Signal und das decodierte Signal 150, so führt die Kombiniereinheit 33 eine in 16 dargestellte Überblendungsverarbeitung durch. Das verzögerte Signal und das decodierte Signal 150 weisen jeweils einen Rand auf, der ein Teil ist, in dem sich ihre Frames überlappen. Dieser Randteil wird als Kombinationsrandteil bezeichnet.
Die Überblendungsverarbeitung verwendet eine Überblendungsfunktion 152 multipliziert mit dem decodierten Signal 150 und eine Überblendungsfunktion 153 multipliziert mit dem verzögerten Signal. Für die Einblend- und Ausblendteile der Überblendungsfunktionen 152 und 153 kann eine beliebige Fensterfunktion mit einer Gesamtsumme von „1“ verwendet werden, wie etwa ein Dreiecksfenster und ein Hanning-Fenster. Die Überblendungsfunktion 152 ist eine Funktion, die in dem Kombinationsrandteil im Laufe der Zeit von „0“ zu „1“ übergeht und nach dem Kombinationsrandteil „1“ beibehält. Die Überblendungsfunktion 153 ist eine Funktion, die in dem Kombinationsrandteil im Laufe der Zeit von „1“ zu „0“ übergeht.
Die Kombiniereinheit 33 multipliziert das decodierte Signal 150 mit der Überblendungsfunktion 152 durch eine Multiplikationseinheit 156 und multipliziert das verzögerte Signal mit der Überblendungsfunktion 153 durch eine Multiplikationseinheit 157. Die Kombiniereinheit 33 erzeugt eine taktile Ausgabe 147 durch Addieren der Multiplikationsergebnisse durch eine Additionseinheit 158.
Nach der Überblendungsverarbeitung in Schritt S146 von 14 geht die Verarbeitung in der Kombiniereinheit 33 zu Schritt S147 über.
Unterscheiden sich die Codierverfahren nicht, sind also das Codierverfahren für die aktuell empfangenen Wellenformdaten und das Codierverfahren für die nächsten empfangenen Wellenformdaten gleich, so geht die Verarbeitung in der Kombiniereinheit 33 zu Schritt S147 über, ohne die Überblendungsverarbeitung in Schritt S146 durchzuführen. Dies liegt daran, dass im Allgemeinen jedes Codierverfahren ursprünglich so ausgelegt ist, dass Signale sogar an der Verbindungsstelle der umzuwandelnden Einheiten nahtlos kombiniert werden, und es nicht erforderlich ist, eine zusätzliche Verarbeitung zum Kombinieren der Signale durchzuführen.
Die Kombiniereinheit 33 gibt das decodierte taktile Signal in Schritt S 147 aus. In dem auf Schritt S147 folgenden Schritt S148 bestimmt die Decodiereinheit 34, ob alle codierten taktilen Daten Dc decodiert worden sind oder nicht, das heißt, ob die Decodierverarbeitung für die codierten taktilen Daten Dc für alle Signalabschnitte des taktilen Signals abgeschlossen ist oder nicht.
Wenn die Verarbeitung für alle Signalabschnitte nicht abgeschlossen ist, kehrt die Verarbeitung in der Decodiereinheit 34 zu Schritt S140 zurück. Als Ergebnis wird für den einen oder die mehreren verbleibenden Abschnitte die gleiche Verarbeitung wie für einen Frame ausgeführt.
Ist dagegen die Verarbeitung für alle Signalabschnitte abgeschlossen, so endet eine in 14 dargestellte Verarbeitungsreihe in der Decodiereinheit 34. Gibt es mehrere Kanäle, so führt die Decodiereinheit 34 die in 14 dargestellte Verarbeitung für alle Kanäle aus.
<7. Erstes Anwendungsbeispiel>
Man betrachte als ein erstes Anwendungsbeispiel der vorliegenden Technologie einen taktilen Film, in dem einem Zuschauer zusätzlich zu Video und Audio Vibration als taktile Empfindung präsentiert wird, wie in 17 dargestellt.
Zunächst werden in der Erstellungsphase neben Video und Audio Vibrationen gesammelt. Bei diesem Sammeln wird beispielsweise die von einer Figur in dem Film wahrgenommene Vibration aufgezeichnet, beispielsweise unter Verwendung eines taktilen Sensors 161 (taktiler Sensor 5), der am Körper eines Schauspielers 160 befestigt ist. In einem anderen Beispiel werden in der Umgebung erzeugte Vibrationen durch eine Installation auf dem Boden des Sammelorts aufgezeichnet.
Die auf diese Weise gesammelte (aufgezeichnete) Vibrationswellenform wird durch eine Codiervorrichtung 162 (Codiervorrichtung 2) codiert. Die Einzelheiten der Codierung sind unter Bezugnahme auf die 8, 10 und 12 beschrieben, und nach der Kontrolle der Codierqualität, die die Analyse des Signals und die Verwendung von Metainformationen beinhaltet, werden der eine oder die mehreren Abschnitte mit einer abrupten Signalstärkeänderung durch das Codierverfahren mit hoher Qualität codiert und der eine oder die mehreren anderen Abschnitte werden durch das Codierverfahren mit niedriger Qualität codiert. Nachdem das Video und das Audio ebenfalls durch ein bekanntes Verfahren codiert wurden, werden die codierten Video-/Audio-/Vibrationsdaten in einem Speicher 163 gespeichert, der durch eine DVD (Digital Versatile Disc) oder dergleichen verkörpert ist.
Beispielsweise ist es in dem Fall, in dem eine Figur mit der Hand eine Wand entlang streicht, wünschenswert, dass für den Berührungsmoment die Codierung mit hoher Qualität verwendet wird, da die Vibrationswellenform eine große zeitliche Änderung aufweist; für den Zeitraum, in dem die Figur die Hand entlang der Wand bewegt, ist es ausreichend, die Codierung mit niedriger Qualität zu verwenden.
Somit wird, wenn ein taktiles Signal durch den an der Hand des Schauspielers 160 befestigten taktilen Sensor 161 eingegeben wird, ein bekanntes Signalverarbeitungsverfahren auf das taktile Signal angewendet, um die steigende Flanke des Signals zu detektieren, und die Codierung mit hoher Qualität wird nur auf diesem Abschnitt (erster Signalabschnitt) durchgeführt. Ferner kann ein Ersteller in dem Moment, in dem der Ersteller eine Empfindung des Berührens einer Wand während des Betrachtens aufgenommener Bilder bereitstellen möchte, solche Metainformationen zu dem taktilen Signal hinzufügen. In diesem Fall detektiert die Bestimmungseinheit 82 aus 8 diese Metainformationen und führt die Codierung mit hoher Qualität nur an dem taktilen Signal zu dieser Zeit durch.
Als Ergebnis können die codierten taktilen Daten Dc erhalten werden, bei denen die Codierung mit hoher Qualität nur in dem Moment der Berührung mit der Wand durchgeführt wird und zu anderen Zeiten die Codierung mit niedriger Qualität durchgeführt wird.
Als weiteres Beispiel werden durch eine Berührung mit einer Wand erzeugte Vibrationen möglicherweise nicht während der Aufnahme eines Films gesammelt, sondern kann ein Ersteller eine Wellenform zum Bereitstellen einer Empfindung des Auftretens einer Berührung der Wand entwerfen. Selbst für diesen Fall kann das Codierverfahren durch ein Signalverarbeitungsverfahren und zusätzlich von dem Ersteller bereitgestellte Metainformationen bestimmt werden, wie oben beschrieben.
Ein Zuschauer 164 sieht sich einen Film aus dem Speicher 163 mittels eines Abspielgeräts 165 an. Unterdessen decodiert das Abspielgerät 165 das Video und Audio und gibt es durch ein bekanntes Verfahren von einer bekannten Video- und Audioausgabevorrichtung aus.
Das eine oder die mehreren entsprechenden Vibrationssignale werden auch durch eine Decodiervorrichtung 166 (Decodiervorrichtung 3) durch das unter Bezugnahme auf 14 beschriebene Verfahren decodiert und dann von einer oder mehreren Vibrationsausgabevorrichtungen 167 ausgegeben. Mit anderen Worten, die Signale werden für die jeweiligen Abschnitte gemäß der zum Zeitpunkt der Codierung zugewiesenen entsprechenden Codierverfahren-ID decodiert, die Signalumschaltverarbeitung wird durchgeführt, um nach Bedarf ein nahtloses Signal zu erhalten, und das resultierende Signal wird als decodiertes Signal ausgegeben.
Zu diesem Zeitpunkt können mehrere Vibrationssignalsysteme ausgegeben werden, die der Anzahl von Systemen entsprechen, die in dem Speicher gespeichert sind, oder eine Anzahl von Vibrationssignalsystemen kann ausgegeben werden, die gemäß der Anzahl von Vorrichtungen, die der Zuschauer 164 besitzt, angepasst ist. Für diese Anpassung kann ein bekanntes Kanalzahlumwandlungsverfahren verwendet werden.
In der vorliegenden Ausführungsform ist es möglich, den zum Speichern der Vibrationsdaten erforderlichen Speicherplatz einzusparen. Als Ergebnis können die vorteilhaften Wirkungen reduzierter Speicherkosten, einer weiter erhöhten Anzahl von Vibrationskanälen, einer erhöhten Auflösung und einer erhöhten Speichernutzung für Video und Audio erzielt werden.
<8. Zweites Anwendungsbeispiel>
Man betrachte als zweites Anwendungsbeispiel der vorliegenden Technologie ein Cloud-Spiel, bei dem alle Operationen eines Benutzers 174, wie in 18 dargestellt, von einer Edge 176 zu einer Cloud 172 übertragen werden, alle Änderungen in Video, Audio und taktiler Empfindung als Reaktion auf die Operationen in der Cloud 172 berechnet und verarbeitet werden und die Ergebnisse an die Edge 176 (zurück zum Benutzer 174) übertragen und dort wiedergegeben werden.
Bei einem allgemeinen Heimvideospiel, das heißt einem Beispiel, bei dem eine Konsole vor dem Benutzer 174 platziert ist, Tastenbetätigungen des Benutzers 174 an die Konsole übertragen werden und verschiedene dort verarbeitete Signale über eine drahtgebundene Verbindung oder über eine drahtlose Verbindung mit sehr kurzer Reichweite an verschiedene Ausgabevorrichtungen übertragen werden, gibt es das gleiche Problem, die gleiche Konfiguration und die gleichen Wirkungen wie bei dem im ersten Anwendungsbeispiel beschriebenen taktilen Film, und daher wird auf dessen Beschreibung verzichtet.
Da es bei Cloud-Spielen keinen Hochleistungscomputer an der Edge 176 gibt, werden die Interpretation komplizierter Benutzeroperationen und die Synthese und Anpassung von Rückmeldungen basierend auf der Interpretation alle in der Cloud 172 durchgeführt, und die resultierenden Daten mit großer Kapazität wie Video, Audio und taktile Empfindungen werden von der Cloud 172 an die Edge 176 übertragen.
Zu diesem Zeitpunkt treten, wenn das Kommunikationsband von der Cloud 172 zu der Edge 176 nicht ausreichend gesichert ist, Rauschen und Signalunterbrechung auf der Seite der Edge 176 auf, wodurch die Benutzererfahrung stark beeinträchtigt wird. Darüber hinaus ist die Vibration bei der taktilen Empfindung je nachdem, wie dasselbe Objekt berührt wird, unterschiedlich, und dementsprechend erfordert ein Verfahren zum Speichern solch unterschiedlicher Vibrationen als getrennte Signale eine enorme Speichermenge. Obgleich ein Verfahren zum Speichern nur des Referenzsignals und Modulieren dieses Signals gemäß der Art und Weise, wie das Objekt berührt wird, verwendet werden kann, erzielt das zuvor genannte Verfahren voraussichtlich eine höhere Qualität des Ausgangssignals.
Das zweite Anwendungsbeispiel wird beschrieben. Es wird nun angenommen, dass Video und Audio durch ein bekanntes Verfahren gehandhabt werden, und in diesem Anwendungsbeispiel wird nur die taktile Empfindung beschrieben. Zunächst wird in der Erstellungsphase des eines Spiels ein aufgezeichnetes oder synthetisiertes Vibrationssignal 170 (taktiles Signal) vorbereitet. Zu Beispielen für solche Vibrationen gehören die Vibration beim Schießen mit einer Waffe, die Vibration beim Öffnen einer Tür, die Vibration beim Abtasten einer Wand, die Vibration eines Schlags auf die Schulter und so weiter. Es kann auch eine Vibration sein, die schwer wahrnehmbar ist, wie etwa der Herzschlag. Jedes dieser Signale wird durch die Codiervorrichtung 171 (Codiervorrichtung 2) codiert.
Bei dieser Codierung werden, wie oben beschrieben, eine Qualitätskontrolle und das entsprechende Codierverfahren für jeden Abschnitt angewendet. Die so erhaltenen codierten taktilen Daten Dc werden in einem Speicher 173 in der Cloud 172 gespeichert.
Als Nächstes wird, wenn der Benutzer 174 dieses Spiel spielt, wird eine Operation des Benutzers 174 zuerst von einem Controller 175 eingegeben und von der Edge 176 an die Cloud 172 übertragen. In der Cloud 172 wird die Operation des Benutzers 174 von einer Übertragungs- und Empfangseinheit 177 empfangen und durch eine Steuereinheit 178 interpretiert, um die codierten taktilen Daten Dc des auszugebenden Vibrationssignals auszuwählen und aus dem Speicher 173 auszulesen.
Die gelesenen codierten taktilen Daten Dc werden unverändert an die Edge 176 übertragen, durch eine Decodiervorrichtung 179 (Decodiervorrichtung 3) an der Edge 176 decodiert und von einer Vibrationsausgabevorrichtung 1710 ausgegeben.
Dadurch wird die aufzuzeichnende Informationsmenge der codierten taktilen Daten Dc reduziert, sodass es möglich ist, die Speicherkapazität in der Cloud 172 zu reduzieren. Darüber hinaus wird es durch Kommunizieren der Daten als codiert und dann decodiert auf der Seite der Edge 176 möglich, die Menge an Kommunikationsdaten zu reduzieren, sodass der Benutzer 174 selbst mit einem schmalen Kommunikationsband zwischen der Cloud 172 und der Edge 176 ein Erlebnis einer realistischen taktilen Empfindung mit Vibrationssignalen in einem Cloud-Spiel erfahren kann.
Dieses Anwendungsbeispiel ist einfach, da die Decodierungsverarbeitung nur das Lesen einer Codierverfahren-ID und die entsprechende Decodierung umfasst, und außerdem besteht der Vorteil, dass auf der Seite der Edge 176 kein Hochleistungscomputer erforderlich ist.
Als Modifikationsbeispiel des zweiten Anwendungsbeispiels kann die Codierqualität gemäß dem Kommunikationsband angepasst werden. Bevor die aus dem Speicher 173 gelesenen codierten taktilen Daten Dc unverändert von der Übertragungs- und Empfangseinheit 177 übertragen werden, erfasst die Steuereinheit 178 die Kommunikationsbandinformationen zwischen der Cloud 172 und der Edge 176.
Bei ausgezeichneter aktueller Kommunikationsumgebung werden die codierten taktilen Daten Dc unverändert von der Übertragungs- und Empfangseinheit 177 übertragen. Dagegen werden bei schlechter Kommunikationsumgebung die gelesenen codierten taktilen Daten Dc erneut durch die Codiervorrichtung 171 codiert. Zu diesem Zeitpunkt stellt die Steuereinheit 178 neue codierte taktile Daten Dc bereit, die für die Kommunikationsumgebung geeignet sind.
Wird zum Beispiel bestimmt, dass die Kommunikationsumgebung schlecht ist, wenn die codierten taktilen Daten Dc eines dem Abtasten einer Wand entsprechenden Vibrationssignals übertragen werden, so kann durch ein Verfahren, bei dem ein längerer Zeitrahmen verwendet wird, um den zweiten Signalabschnitt zu codieren, an dem die Codierung mit niedriger Qualität durchgeführt wird, während die Hand entlang der Wand bewegt wird, und somit um die Häufigkeit von Parameteraktualisierungen zu reduzieren, die Datenmenge auf Kosten einer gewissen Qualität weiter reduziert werden.
In dem zweiten Anwendungsbeispiel der vorliegenden Technologie basiert die Trennung zwischen dem ersten Signalabschnitt, der der Codierung mit hoher Qualität unterzogen werden soll, und dem zweiten Signalabschnitt, der der Codierung mit niedriger Qualität unterzogen werden soll, auf menschlichen Wahrnehmungseigenschaften, und dementsprechend lässt sich eine solche Anpassung leicht durchführen, während die menschliche Wahrnehmung beibehalten wird. Beispielsweise ist, da die obige Anpassung für den Abschnitt gilt, in dem die Zeitauflösung ursprünglich nicht als Schlüsselfaktor betrachtet wurde, der Einfluss selbst aufgrund der Anpassung der Häufigkeit von Parameteraktualisierungen restriktiv.
<9. Drittes Anwendungsbeispiel>
Man betrachte als drittes Anwendungsbeispiel der vorliegenden Technologie ein Beispiel, bei dem beim Versandhandel über das Internet, wie in 19 dargestellt, die Textur eines Produkts 180 als Vibration wiedergegeben wird, damit ein Benutzer 186 taktile Informationen an dem Produkt 180 fühlt. Wenn der Benutzer 186 zum Beispiel ein Produkt auf einer Einkaufsseite findet, kann eine vorhandene Vibrationsvorrichtung 1810 eine Vibration als dessen detaillierten Informationen ausgeben, sodass der Benutzer 186 die Vibration als die Textur des Produkts 180 bestätigen kann.
Zunächst wird, um die Textur des Produkts 180 aufzuzeichnen, ein Vibrationssensor 181 (taktiler Sensor 5) verwendet, um die Vibrationen aufzuzeichnen, wenn verschiedene Berührungen vorgenommen werden. Zu diesem Zeitpunkt kann beispielsweise ein Roboterarm 182 für wiederholte Berührungsbewegungen verwendet werden.
Jedes durch den Vibrationssensor 181 erfasste Vibrationssignaldatenelement wird durch eine Codiervorrichtung 183 in Abhängigkeit von der entsprechenden Berührungsbewegung codiert. Dieses Codierverfahren ist wie oben beschrieben, und in diesem Anwendungsbeispiel ist zusätzlich ein Berührungssensor 184 (taktiler Sensor 5) an dem Roboterarm 182 befestigt, und die Qualität der Codierung wird basierend auf den Informationen von dem Berührungssensor 184 gesteuert.
Beispielsweise können der Moment, in dem der Roboterarm 182 das Produkt 180 berührt, und der Moment, in dem der Roboterarm 182 das Produkt 180 verlässt, durch den Berührungssensor 184 identifiziert werden.
Es wird vorhergesagt, dass die Änderung des Signals über die Zeit von diesem Moment an für einen bestimmten Zeitraum abrupt ist. Dementsprechend wird dieser Abschnitt als der erste Signalabschnitt eingestellt, der der Codierung mit hoher Genauigkeit unterzogen werden soll. In diesem Fall ist, da die Qualitätssteuerung durch die Informationen von dem Berührungssensor 184 abgeschlossen wird, keine Signalverarbeitung erforderlich. Dann werden die resultierenden Elemente von codierten taktilen Daten Dc in einem Speicher 185 gespeichert.
Als Nächstes empfängt eine Übertragungs- und Empfangseinheit 187 eine Wiedergabeanforderung von dem Benutzer 186, und eine Steuereinheit 188 liest die geeigneten codierten taktilen Daten Dc aus dem Speicher 185 aus und überträgt sie an die Seite des Benutzers 186. Eine Decodiervorrichtung 189 (Decodiervorrichtung 3) auf der Empfangsseite des Benutzers 186 decodiert die codierten taktilen Daten Dc und gibt die Vibration aus einer durch den Benutzer 186 gehaltenen Vibrationsvorrichtung 1810 wieder.
Als Ergebnis kann der Benutzer 186 die Textur des Produkts 180 über das Internet fühlen. Darüber hinaus wird aufgrund der vorteilhaften Wirkungen dieses Anwendungsbeispiels die Datenkapazität reduziert, sodass die Vibrationsdaten in kurzer Zeit heruntergeladen werden können, und die Belastung der Webseite wird ebenfalls reduziert, sodass die Qualität des Benutzererlebnisses nicht beeinträchtigt wird.
<10. Schlussbemerkung>
Die Decodiervorrichtung 3 gemäß der oben beschrieben Ausführungsform umfasst Folgendes: die erste Decodiereinheit 34a, die erste codierte Daten decodiert, die durch Codieren (Codierung mit hoher Qualität) eines ersten Signalabschnitts (zum Beispiel des Signalabschnitts 73 oder 77) mit einer ersten Bitrate erhalten werden, wobei der erste Signalabschnitt ein Teil eines Berührungssignalabschnitts 200 ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst; und die zweite Decodiereinheit 34b, die zweite codierte Daten decodiert, die durch Codieren (Codierung mit niedriger Qualität) eines zweiten Signalabschnitts (zum Beispiel des Signalabschnitts 74) mit einer niedrigeren Bitrate als die erste Bitrate erhalten werden, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt 200 ist (siehe S140 bis S144 in 4, 7 und 14).
Die codierten taktilen Daten Dc, in denen nur der signifikante Abschnitt in dem Berührungssignalabschnitt mit der hohen Bitrate codiert (Codierung mit hoher Qualität) ist und der andere Abschnitt mit der niedrigen Bitrate codiert (Codierung mit niedriger Qualität) ist, sodass sowohl eine reduzierte Menge zu übertragener Daten als auch eine Garantie der Wiedergabe der taktilen Empfindung erreicht werden können.
Somit ist es möglich, die Daten, bei denen die Menge der gesamten zu übertragenden codierten taktilen Daten Dc reduziert ist, mit geringer Verzögerung zu empfangen, ohne die taktile Reproduzierbarkeit so weit wie möglich zu beeinträchtigen. Daher ist es für den Empfänger möglich, eine qualitativ hochwertige taktile Empfindung zu erleben, ohne eine Verzögerung zu spüren.
Die Decodiervorrichtung 3 gemäß der Ausführungsform umfasst die Kombiniereinheit 33, die durch Decodieren der ersten codierten Daten erhaltene erste Wellenformdaten und durch Decodieren der zweiten codierten Daten erhaltene zweite Wellenformdaten kombiniert (siehe S145 und S 146 in 4 und 14).
Als Ergebnis werden die Elemente von Wellenformdaten zu einem Wellenformdatenelement integriert.
Daher ist es möglich, die Erzeugung einer unangenehmen diskontinuierlichen Wellenform zu verhindern, die durch separates Ausgeben von Wellenformdatenelementen verursacht wird, sodass die taktile Reproduzierbarkeit verbessert werden kann.
In der Decodiervorrichtung 3 gemäß der Ausführungsform führt die Kombiniereinheit 33 eine Überblendungsverarbeitung an einem kombinierten Abschnitt zwischen den ersten Wellenformdaten und den zweiten Wellenformdaten durch (siehe S146 in 14 und 15 und 16).
Als Ergebnis werden die ersten Wellenformdaten und die zweiten Wellenformdaten nahtlos kombiniert.
Daher ist es möglich, die Erzeugung einer unangenehmen diskontinuierlichen Wellenform zu verhindern, die durch separates Ausgeben von Wellenformdatenelementen verursacht wird, sodass die taktile Reproduzierbarkeit verbessert werden kann.
Das Decodierverfahren gemäß der Ausführungsform umfasst Folgendes: Decodieren erster codierter Daten, die durch Codieren (Codierung mit hoher Qualität) eines ersten Signalabschnitts mit einer ersten Bitrate erhalten werden, wobei der erste Signalabschnitt ein Teil eines Berührungssignalabschnitts (zum Beispiel des Signalabschnitts 73 oder 77) ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst; und Decodieren zweiter codierter Daten, die durch Codieren (Codierung mit niedriger Qualität) eines zweiten Signalabschnitts (beispielsweise des Signalabschnitts 74) mit einer niedrigeren Bitrate als die erste Bitrate erhalten werden, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist.
Außerdem können gemäß einem solchen Decodierverfahren als Ausführungsform auch derselbe Betrieb und dieselbe Wirkung wie jene der Decodiervorrichtung 3 als die oben beschriebene Ausführungsform erhalten werden.
Die Codiervorrichtung 2 gemäß der Ausführungsform umfasst Folgendes: die Bestimmungseinheit 82, die einen ersten Signalabschnitt (beispielsweise den Signalabschnitt 73 oder 77) und einen zweiten Signalabschnitt (beispielsweise den Signalabschnitt 74) bestimmt, wobei der erste Signalabschnitt ein Teil eines Berührungssignalabschnitts 200 ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt 200 ist; die erste Codiereinheit 83, die den ersten Signalabschnitt mit einer ersten Bitrate codiert (Codierung mit hoher Qualität); und die zweite Codiereinheit 84, die den zweiten Signalabschnitt mit einer niedrigeren Bitrate als die erste Bitrate codiert (Codierung mit niedriger Qualität) (siehe 7, 8 und 10 ).
Nur der signifikante Abschnitt in dem Berührungssignalabschnitt wird mit der hohen Bitrate codiert, und der andere Abschnitt wird mit der niedrigen Bitrate codiert, sodass sowohl eine reduzierte Menge zu übertragender Daten als auch eine Garantie der Wiedergabe der taktilen Empfindung erreicht werden können. Somit ist es möglich, die Menge der gesamten zu übertragenden codierten taktilen Daten Dc zu reduzieren, ohne die taktile Reproduzierbarkeit so weit wie möglich zu beeinträchtigen. Daher ist es möglich, die codierten taktilen Daten Dc mit geringer Verzögerung zu übertragen, während die Wahrnehmungsqualität des taktilen Signals beibehalten wird.
In der Codiervorrichtung 2 gemäß der Ausführungsform bestimmt die Bestimmungseinheit 82 den ersten Signalabschnitt und den zweiten Signalabschnitt basierend auf Abschnittsinformationen über den ersten Signalabschnitt und den zweiten Signalabschnitt, die zu dem taktilen Signal hinzugefügt werden (siehe S112 in 10 und 11).
Als Ergebnis ist eine Verarbeitung wie eine Wellenformanalyse beim Bestimmen des ersten Signalabschnitts und des zweiten Signalabschnitts nicht erforderlich. Daher kann die Verarbeitungslast der Codiervorrichtung 2 zum Bestimmen des ersten Signalabschnitts und des zweiten Signalabschnitts reduziert werden, sodass es möglich ist, eine effizientere Codierverarbeitung durchzuführen.
In der Codiervorrichtung 2 gemäß der Ausführungsform bestimmt die Bestimmungseinheit 82 den ersten Signalabschnitt und den zweiten Signalabschnitt basierend auf einem Ergebnis einer Durchführung einer Wellenformanalyse an dem taktilen Signal (siehe S112 in 10).
Als Ergebnis müssen beim individuellen Codieren des ersten Signalabschnitts und des zweiten Signalabschnitts keine Informationen zum Unterscheiden zwischen dem ersten Signalabschnitt und dem zweiten Signalabschnitt zu dem Berührungssignal hinzugefügt werden.
Daher ist es möglich, die Belastung für den Bediener zu verringern, der das Berührungssignal erstellt, zu dem Abschnittsinformationen für jeden Signalabschnitt hinzugefügt werden.
In der Codiervorrichtung 2 gemäß der Ausführungsform bestimmt die Bestimmungseinheit 82 den ersten Signalabschnitt und den zweiten Signalabschnitt basierend auf einer Amplitudenänderungsrate des taktilen Signals (siehe S112 in 10).
Als Ergebnis ist es möglich, den ersten Signalabschnitt mit einer abrupten Änderung der Wellenform des taktilen Signals geeignet zu bestimmen.
Daher ist es möglich, in geeigneter Weise sowohl eine reduzierte Datenmenge als auch eine Garantie der Wiedergabe der taktilen Empfindung zu erreichen.
In der Codiervorrichtung 2 gemäß der Ausführungsform codiert die zweite Codiereinheit 84 den zweiten Signalabschnitt durch ein Codierverfahren unter Verwendung einer längeren Umwandlungslänge als beim Codieren für den ersten Signalabschnitt (siehe S116 in 10).
Als Ergebnis wird die Menge an zweiten codierten Daten im zweiten Signalabschnitt reduziert.
Daher ist es möglich, die Menge der gesamten zu übertragenden codierten taktilen Daten Dc zu reduzieren.
In der Codiervorrichtung 2 gemäß der Ausführungsform führt die zweite Codiereinheit 84 eine parametrische Codierung an dem zweiten Signalabschnitt durch (siehe S116 in 10).
Als Ergebnis wird die Menge an zweiten codierten Daten im zweiten Signalabschnitt reduziert.
Daher ist es möglich, die Menge der gesamten zu übertragenden codierten taktilen Daten Dc zu reduzieren.
Die Codiervorrichtung 2 gemäß der Ausführungsform umfasst einen ersten Pufferspeicher, der zum Bestimmen des ersten Signalabschnitts und des zweiten Signalabschnitts verwendet wird, und einen zweiten Pufferspeicher, der zum Codieren des zweiten Signalabschnitts gemäß einem Ergebnis des Bestimmens verwendet wird (siehe S111 und S 115 in 8 und 10).
Als Ergebnis ist es möglich, dass die zweite Pufferverarbeitungseinheit 87 ein taktiles Signal puffert, das nicht durch die erste Pufferverarbeitungseinheit 86 für das taktile Signal in dem zweiten Signalabschnitt gepuffert wird, für das die Umwandlungslänge länger als beim Codieren für den ersten Signalabschnitt ist. Daher ist es nicht erforderlich, die Pufferdauer an den zweiten Signalabschnitt mit einer langen Umwandlungslänge anzupassen, sodass verhindert werden kann, dass die Verarbeitungszeit der Codierung mit hoher Qualität für das taktile Signal des ersten Signalabschnitts verzögert wird, und somit die Effizienz der Codierungsverarbeitung verbessert werden kann.
Das Codierverfahren gemäß der Ausführungsform umfasst: Bestimmen eines ersten Signalabschnitts (beispielsweise den Signalabschnitt 73 oder 77) und eines zweiten Signalabschnitts (beispielsweise den Signalabschnitt 74), wobei der erste Signalabschnitt ein Teil eines Berührungssignalabschnitts 200 ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt 200 ist; Codieren (Codierung mit hoher Qualität) des ersten Signalabschnitts mit einer ersten Bitrate; und Codieren (Codierung mit niedriger Qualität) des zweiten Signalabschnitts mit einer niedrigeren Bitrate als die erste Bitrate.
Außerdem können gemäß einem solchen Codierverfahren als Ausführungsform auch derselbe Betrieb und dieselbe Wirkung wie jene der Codiervorrichtung 2 als die oben beschriebene Ausführungsform erhalten werden.
Hier können die bisher beschriebenen Funktionen der Decodiervorrichtung 3 und der Codiervorrichtung 2 als Softwareverarbeitung beispielsweise durch eine CPU, einen DSP oder dergleichen implementiert werden. Die Softwareverarbeitung wird basierend auf einem Programm ausgeführt.
Ein erstes Programm als eine Ausführungsform ist ein Programm, das bewirkt, dass eine Informationsverarbeitungsvorrichtung Folgendes ausführt: eine Funktion zum Decodieren von ersten codierten Daten, die durch Codieren eines ersten Signalabschnitts mit einer ersten Bitrate erhalten werden, wobei der erste Signalabschnitt ein Teil eines Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst; und eine Funktion zum Decodieren von zweiten codierten Daten, die durch Codieren eines zweiten Signalabschnitts mit einer niedrigeren Bitrate als die erste Bitrate erhalten werden, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist.
Ein solches erstes Programm kann die Decodiervorrichtung 3 gemäß der oben beschriebenen Ausführungsform realisieren.
Ein zweites Programm als eine Ausführungsform ist ein Programm, das bewirkt, dass eine Informationsverarbeitungsvorrichtung Folgendes ausführt: eine Funktion zum Bestimmen eines ersten Signalabschnitts und eines zweiten Signalabschnitts, wobei der erste Signalabschnitt Teil eines
Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist; eine Funktion zum Codieren des ersten Signalabschnitts mit einer ersten Bitrate; und eine Funktion zum Codieren des zweiten Signalabschnitts mit einer niedrigeren Bitrate als die erste Bitrate.
Ein solches zweites Programm kann die Codiervorrichtung 2 gemäß der oben beschriebenen Ausführungsform realisieren.
Das erste und zweite Programm, die vorstehend beschrieben wurden, können im Voraus auf einem Aufzeichnungsmedium aufgezeichnet werden, das in einer Vorrichtung wie einer Computervorrichtung oder einem ROM oder dergleichen in einem Mikrocomputer, der eine CPU umfasst, eingebettet ist.
Alternativ können die Programme temporär oder permanent auf einem entfernbaren Aufzeichnungsmedium wie einer flexiblen Disk, einem Compact-Disc-Nur-Lese-Speicher (CD-ROM), einer magnetoptischen (MO-) Disk, einer DVD, einer Blu-ray Disc (eingetragene Marke), einer Magnetplatte, einem Halbleiterspeicher oder eine Speicherkarte gespeichert (aufgezeichnet) werden. Das entfernbare Aufzeichnungsmedium kann als sogenannte Package-Software bereitgestellt werden.
Das erste und das zweite Programm können von dem entfernbaren Aufzeichnungsmedium auf einem Personal Computer installiert werden und können auch von einer Download-Seite über ein Netzwerk wie das Internet oder ein lokales Netzwerk (LAN) heruntergeladen werden.
Ferner sind das erste und das zweite Programm für einen breiten Bereitstellungsbereich der Decodiervorrichtung und der Codiervorrichtung gemäß den Ausführungsformen geeignet. Beispielsweise werden die Programme auf einen Personal Computer, eine tragbare Informationsverarbeitungsvorrichtung, ein Mobiltelefon, eine Spielekonsole, eine Audio-und-Video(AV)-Vorrichtung oder dergleichen heruntergeladen, wodurch ermöglicht wird, dass der Personal Computer oder dergleichen als die Decodiervorrichtung und die Codiervorrichtung der vorliegenden Technologie fungiert.
< 11. Vorliegende Technologie>
Die vorliegende Technologie kann wie folgt konfiguriert sein.

(1) Eine Decodiervorrichtung, die Folgendes umfasst:
- eine erste Decodiereinheit, die erste codierte Daten decodiert, die durch Codieren eines ersten Signalabschnitts mit einer ersten Bitrate erhalten werden, wobei der erste Signalabschnitt ein Teil eines Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist,
- der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst; und
- eine zweite Decodiereinheit, die zweite codierte Daten decodiert, die durch Codieren eines zweiten Signalabschnitts mit einer niedrigeren Bitrate als die erste Bitrate erhalten werden, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem
- Berührungssignalabschnitt ist.
(2) Die Decodiervorrichtung nach (1), umfassend eine Kombiniereinheit, die erste Wellenformdaten, die durch Decodieren der ersten codierten Daten erhalten werden, und zweite Wellenformdaten, die durch Decodieren der zweiten codierten Daten erhalten werden, kombiniert.
(3) Die Decodiervorrichtung nach (2), wobei die Kombiniereinheit eine Überblendungsverarbeitung an einem kombinierten Teil zwischen den ersten Wellenformdaten und den zweiten Wellenformdaten durchführt.
(4) Ein Decodierverfahren das Folgendes umfasst:
- Decodieren erster codierter Daten, die durch Codieren eines ersten Signalabschnitts mit einer ersten Bitrate erhalten werden, wobei der erste Signalabschnitt ein Teil eines Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal anzeigt, wobei der erste Signalabschnitt ein Signalabschnitt ist,
- der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt enthält; und
- Decodieren zweiter codierte Daten, die durch Codieren eines zweiten Signalabschnitts mit einer niedrigeren Bitrate als die erste Bitrate erhalten werden, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist.
(5) Ein Programm, das bewirkt, dass eine Informationsverarbeitungsvorrichtung Folgendes ausführt:
- eine Funktion zum Decodieren erster codierter Daten, die durch Codieren eines ersten Signalabschnitts mit einer ersten Bitrate erhalten werden, wobei der erste Signalabschnitt ein Teil eines Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal anzeigt, wobei der erste Signalabschnitt ein Signalabschnitt ist,
- der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt enthält; und
- eine Funktion zum Decodieren zweiter codierter Daten, die durch Codieren eines zweiten Signalabschnitts mit einer niedrigeren Bitrate als die erste Bitrate erhalten werden, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist.
(6) Eine Codiervorrichtung, die Folgendes umfasst:
- eine Bestimmungseinheit, die einen ersten Signalabschnitt und einen zweiten Signalabschnitt bestimmt, wobei der erste Signalabschnitt Teil eines Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist;
- eine erste Codiereinheit, die den ersten Signalabschnitt mit einer ersten Bitrate codiert; und
- eine zweite Codiereinheit, die den zweiten Signalabschnitt mit einer niedrigeren Bitrate als die erste Bitrate codiert.
(7) Die Codiervorrichtung nach (6), wobei die Bestimmungseinheit den ersten Signalabschnitt und den zweiten Signalabschnitt basierend auf Abschnittsinformationen über den ersten Signalabschnitt und den zweiten Signalabschnitt, die zu dem taktilen Signal hinzugefügt werden, bestimmt.
(8) Die Codiervorrichtung nach (6) oder (7), wobei die Bestimmungseinheit den ersten Signalabschnitt und den zweiten Signalabschnitt basierend auf einem Ergebnis des Durchführens einer Wellenformanalyse an dem taktilen Signal bestimmt.
(9) Die Codiervorrichtung nach einem von (6) bis (8), wobei die Bestimmungseinheit den ersten Signalabschnitt und den zweiten Signalabschnitt basierend auf einer Amplitudenänderungsrate des taktilen Signals bestimmt.
(10) Die Codiervorrichtung nach einem von (6) bis (9), wobei die zweite Codiereinheit den zweiten Signalabschnitt durch ein Codierverfahren codiert, bei dem eine längere Umwandlungslänge als beim Codieren für den ersten Signalabschnitt verwendet wird.
(11) Die Codiervorrichtung nach einem von (6) bis (10), wobei die zweite Codiereinheit eine parametrische Codierung an dem zweiten Signalabschnitt durchführt.
(12) Die Codiervorrichtung nach (10), die Folgendes umfasst:
- einen ersten Pufferspeicher, der zum Bestimmen des ersten Signalabschnitts und
- des zweiten Signalabschnitts verwendet wird, und einen zweiten Pufferspeicher, der zum Codieren des zweiten Signalabschnitts gemäß einem Bestimmungsergebnis verwendet wird.
(13) Ein Codierverfahren, das Folgendes umfasst:
- Bestimmen eines ersten Signalabschnitts und eines zweiten Signalabschnitts,
- wobei der erste Signalabschnitt Teil eines Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist,
- der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist; Codieren des ersten Signalabschnitts mit einer ersten Bitrate; und Codieren des zweiten Signalabschnitts mit einer niedrigeren Bitrate als die erste Bitrate.
(14) Ein Programm, das bewirkt, dass eine Informationsverarbeitungsvorrichtung Folgendes ausführt:
- eine Funktion zum Bestimmen eines ersten Signalabschnitts und eines zweiten Signalabschnitts, wobei der erste Signalabschnitt Teil eines
- Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist;
- eine Funktion zum Codieren des ersten Signalabschnitts mit einer ersten Bitrate; und
- eine Funktion zum Codieren des zweiten Signalabschnitts mit einer niedrigeren Bitrate als die erste Bitrate.

Abschließend sind die in der vorliegenden Offenbarung beschriebenen vorteilhaften Wirkungen beispielhaft und nicht beschränkt und können andere vorteilhafte Wirkungen haben oder können einen Teil der in der vorliegenden Offenbarung beschriebenen vorteilhaften Wirkungen haben. Die in der vorliegenden Offenbarung beschriebenen Ausführungsformen sind lediglich Beispiele, und die vorliegende Technologie ist nicht auf die oben beschriebenen Ausführungsformen beschränkt. Daher versteht es sich, dass verschiedene Änderungen neben den oben beschriebenen Ausführungsformen gemäß der Ausgestaltung und dergleichen innerhalb eines Schutzumfangs vorgenommen werden können, der nicht von der technischen Idee der vorliegenden Technologie abweicht. Es sei angemerkt, dass nicht alle Kombinationen von Konfigurationen, die in den Ausführungsbeispielen beschrieben sind, zum Lösen des Problems wesentlich sind.
Bezugszeichenliste

1: Taktiles Wiedergabesystem
2: Codiervorrichtung
3: Decodiervorrichtung
24: Codiereinheit
33: Kombiniereinheit
34: Decodiereinheit
34a: Erste Decodiereinheit
34b: Zweite Decodiereinheit
82: Bestimmungseinheit
83: Erste Codiereinheit
84: Zweite Codiereinheit
86: Erste Puffereinheit
87: Zweite Puffereinheit
200: Berührungssignalabschnitt

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2016202486 A [0006]

Claims

Decodiervorrichtung, die Folgendes umfasst: eine erste Decodiereinheit, die erste codierte Daten decodiert, die durch Codieren eines ersten Signalabschnitts mit einer ersten Bitrate erhalten werden, wobei der erste Signalabschnitt ein Teil eines Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst; und eine zweite Decodiereinheit, die zweite codierte Daten decodiert, die durch Codieren eines zweiten Signalabschnitts mit einer niedrigeren Bitrate als die erste Bitrate erhalten werden, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist.
Decodiervorrichtung nach Anspruch 1, umfassend eine Kombiniereinheit, die erste Wellenformdaten, die durch Decodieren der ersten codierten Daten erhalten werden, und zweite Wellenformdaten, die durch Decodieren der zweiten codierten Daten erhalten werden, kombiniert.
Decodiervorrichtung nach Anspruch 2, wobei die Kombiniereinheit eine Überblendungsverarbeitung an einem kombinierten Teil zwischen den ersten Wellenformdaten und den zweiten Wellenformdaten durchführt.
Decodierverfahren, das Folgendes umfasst: Decodieren erster codierter Daten, die durch Codieren eines ersten Signalabschnitts mit einer ersten Bitrate erhalten werden, wobei der erste Signalabschnitt ein Teil eines Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal anzeigt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt enthält; und Decodieren zweiter codierter Daten, die durch Codieren eines zweiten Signalabschnitts mit einer niedrigeren Bitrate als die erste Bitrate erhalten werden, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist.
Programm, das bewirkt, dass eine Informationsverarbeitungsvorrichtung Folgendes ausführt: eine Funktion zum Decodieren erster codierter Daten, die durch Codieren eines ersten Signalabschnitts mit einer ersten Bitrate erhalten werden, wobei der erste Signalabschnitt ein Teil eines Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal anzeigt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt enthält; und eine Funktion zum Decodieren zweiter codierter Daten, die durch Codieren eines zweiten Signalabschnitts mit einer niedrigeren Bitrate als die erste Bitrate erhalten werden, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist.
Codiervorrichtung, die Folgendes umfasst: eine Bestimmungseinheit, die einen ersten Signalabschnitt und einen zweiten Signalabschnitt bestimmt, wobei der erste Signalabschnitt Teil eines Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist; eine erste Codiereinheit, die den ersten Signalabschnitt mit einer ersten Bitrate codiert; und eine zweite Codiereinheit, die den zweiten Signalabschnitt mit einer niedrigeren Bitrate als die erste Bitrate codiert.
Codiervorrichtung nach Anspruch 6, wobei die Bestimmungseinheit den ersten Signalabschnitt und den zweiten Signalabschnitt basierend auf Abschnittsinformationen über den ersten Signalabschnitt und den zweiten Signalabschnitt, die zu dem taktilen Signal hinzugefügt werden, bestimmt.
Codiervorrichtung nach Anspruch 6, wobei die Bestimmungseinheit den ersten Signalabschnitt und den zweiten Signalabschnitt basierend auf einem Ergebnis des Durchführens einer Wellenformanalyse an dem taktilen Signal bestimmt.
Codiervorrichtung nach Anspruch 6, wobei die Bestimmungseinheit den ersten Signalabschnitt und den zweiten Signalabschnitt basierend auf einer Amplitudenänderungsrate des taktilen Signals bestimmt.
Codiervorrichtung nach Anspruch 6, wobei die zweite Codiereinheit den zweiten Signalabschnitt durch ein Codierverfahren codiert, bei dem eine längere Umwandlungslänge als beim Codieren für den ersten Signalabschnitt verwendet wird.
Codiervorrichtung nach Anspruch 6, wobei die zweite Codiereinheit eine parametrische Codierung an dem zweiten Signalabschnitt durchführt.
Codiervorrichtung nach Anspruch 10, die Folgendes umfasst: einen ersten Pufferspeicher, der zum Bestimmen des ersten Signalabschnitts und des zweiten Signalabschnitts verwendet wird, und einen zweiten Pufferspeicher, der zum Codieren des zweiten Signalabschnitts gemäß einem Bestimmungsergebnis verwendet wird.
Codierverfahren, das Folgendes umfasst: Bestimmen eines ersten Signalabschnitts und eines zweiten Signalabschnitts, wobei der erste Signalabschnitt Teil eines Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist; Codieren des ersten Signalabschnitts mit einer ersten Bitrate; und Codieren des zweiten Signalabschnitts mit einer niedrigeren Bitrate als die erste Bitrate.
Programm, das bewirkt, dass eine Informationsverarbeitungsvorrichtung Folgendes ausführt: eine Funktion zum Bestimmen eines ersten Signalabschnitts und eines zweiten Signalabschnitts, wobei der erste Signalabschnitt Teil eines Berührungssignalabschnitts ist, der ein Signalabschnitt ist, der einen Berührungszustand mit einem Objekt in einem taktilen Signal angibt, wobei der erste Signalabschnitt ein Signalabschnitt ist, der eine Grenze zwischen dem Berührungszustand und einem Nicht-Berührungszustand mit dem Objekt umfasst, wobei der zweite Signalabschnitt ein Signalabschnitt außer dem ersten Signalabschnitt in dem Berührungssignalabschnitt ist; eine Funktion zum Codieren des ersten Signalabschnitts mit einer ersten Bitrate; und eine Funktion zum Codieren des zweiten Signalabschnitts mit einer niedrigeren Bitrate als die erste Bitrate.