HINTERGRUND DER ERFINDUNGBACKGROUND OF THE INVENTION
Eine Ausführungsform betrifft allgemein die Integration externer Geräte in ein Fahrzeug.One embodiment generally relates to the integration of external devices into a vehicle.
Mobile Geräte wie etwa Smartphones werden ein alltäglicher Bestandteil im Leben der Menschen. Die Anzahl der Anwendungen, die auf einem Smartphone verwendet werden können, nimmt laufend zu. Derartige mobile Geräte werden nicht nur für Telefonanrufe und Textbotschaften verwendet, sondern sie werden auch für Multimedia (Video und Audio), Internetzugang, Lesen, GPS und Navigation, Terminplanung, Forschung, soziale Netzwerke, Spiele und buchstäblich tausende anderer Anwendungen verwendet. Seit kurzem ermöglichen es Technologien, dass Verbraucher viele Anwendungen auf ihrem Telefon so nutzen, dass sie auf einer Haupteinheit eines Infotainmentsystems verwendet werden können, etwa das direkte Anzeigen eines Videobilds an dem Bildschirm in der Mittelkonsole des Fahrzeugs. Mit dieser Technik zeigen viele Benutzer gerne Videomaterial und andere visuelle oder Audiomaterialien an dem Bildschirm der Haupteinheit an, welche von dem tragbaren Gerät erzeugt werden. Viele Benutzer wünschen jedoch, die Bedienelemente an der Haupteinheit anstelle der Bedienelemente an dem tragbaren Gerät als Gerätebedienelemente zu verwenden, um die Videoquelle zu steuern. Datenkollisionen zwischen der Datenübertragung und Steuerungssignalübertragungen können zu Leistungs- und Latenzzeitproblemen führen.Mobile devices such as smartphones are becoming an everyday part of people's lives. The number of applications that can be used on a smartphone is constantly increasing. Such mobile devices are not only used for telephone calls and text messages, but they are also used for multimedia (video and audio), Internet access, reading, GPS and navigation, scheduling, research, social networking, games and literally thousands of other applications. Recently, technologies have allowed consumers to use many applications on their phone to be used on a main unit of an infotainment system, such as directly displaying a video image on the screen in the center console of the vehicle. With this technique, many users are happy to display video material and other visual or audio materials on the main unit screen generated by the portable device. However, many users wish to use the controls on the main unit instead of the controls on the portable device as device controls to control the video source. Data collisions between the data transmission and control signal transmissions can lead to performance and latency issues.
ZUSAMMENFASSUNG DER ERFINDUNGSUMMARY OF THE INVENTION
Ein Vorteil einer Ausführungsform besteht in einer Verringerung der Latenzzeit beim Ausführen des Abspielens des Videos oder Audios, das von einem entfernten Gerät erzeugt und an einem separaten Ausgabegerät angezeigt wird. Die Verwendung separater Kommunikationskanäle oder der Priorisierung einer Kommunikation über den gleichen Kommunikationskanal beseitigt Signalkollisionen zwischen den kommunizierenden Geräten. Als Folge werden von einem Benutzer in eine Hauptsteuerungseinheit eingegebene Steuerungssignale auf effektive Weise an das entfernte Gerät kommuniziert und die Befehle werden von dem entfernten Gerät unmittelbar ausgeführt. Als Folge gibt es keine Latenzzeit bei den Steuerungssignalen, die an das entfernte Gerät übertragen werden, oder bei der Mediendatenübertragung an die Hauptsteuerungseinheit in Ansprechen auf die empfangenen Steuerungssignale.An advantage of one embodiment is a reduction in the latency in performing the playback of the video or audio produced by a remote device and displayed on a separate output device. The use of separate communication channels or the prioritization of communication over the same communication channel eliminates signal collisions between the communicating devices. As a result, control signals input from a user to a main control unit are effectively communicated to the remote device, and the commands are directly executed by the remote device. As a result, there is no latency in the control signals transmitted to the remote device or in the media data transfer to the main control unit in response to the received control signals.
Eine Ausführungsform betrachtet ein Verfahren zum Steuern von Medieninhalt zwischen einer Quelle und einem entfernten Ausgabegerät. Ein autonomes tragbares Multimediagerät ist zum Weiterleiten von Medieninhalt ausgelegt. Das tragbare Gerät enthält einen Steuerungsserver, einen Datenserver und einen Inhalts-Cache. Eine Hauptsteuerungseinheit wird für einen feststehenden Betrieb an einer Betrachtersitzposition bereitgestellt. Die Hauptsteuerungseinheit enthält einen Steuerungsklienten und einen Datenklienten. Die Hauptsteuerungseinheit enthält ein Medienausgabegerät zum Abspielen des weitergeleiteten Medieninhalts. Die Hauptsteuerungseinheit ist von dem tragbaren Gerät entfernt. Zwischen dem Steuerungsserver und dem Steuerungsklienten wird eine erste lokale Netzwerkkopplung aufgebaut, um Steuerungssignale zwischen der Hauptsteuerungseinheit und dem tragbaren Gerät zu übertragen. Zwischen den Datenklienten und dem Datenserver wird eine zweite lokale Netzwerkkopplung aufgebaut, um Medieninhaltsignale zwischen der Hauptsteuerungseinheit und dem tragbaren Gerät zu übertragen. Die erste lokale Netzwerkkopplung weist eine niedrigere Übertragungsvolumenkapazität als die zweite lokale Netzwerkkopplung und eine kürzere Latenzzeit für die Steuerungssignale als für das Medieninhaltsignal über die zweite lokale Netzwerkkopplung auf. Bei einer Hauptsteuerungseinheit werden Benutzereingabedaten empfangen. Die Benutzereingabedaten betreffen die Anforderung eines Benutzers zum Verändern des Abspielens des weitergeleiteten Medieninhalts. Der Steuerungsklient erzeugt die Steuerungssignale, welche die Anforderung des Benutzers anzeigen, und überträgt die Steuerungssignale unter Verwendung der ersten lokalen Netzwerkkopplung an den Steuerungsserver. Der Steuerungsserver stellt Anweisungen für den Datenserver bereit, um die Benutzeranforderung auszuführen. Der Datenserver synchronisiert sich mit dem Inhalts-Cache, um Mediendaten zu holen, die zum Ausführen der Anweisungen verwendet werden. Die geholten Mediendaten werden unter Verwendung der zweiten lokalen Netzwerkkopplung von dem Datenserver an den Datenklienten übertragen. Die Mediendaten werden über das Medienausgabegerät an den Benutzer ausgegeben.One embodiment contemplates a method for controlling media content between a source and a remote output device. An autonomous portable multimedia device is designed to forward media content. The portable device includes a control server, a data server, and a content cache. A main control unit is provided for fixed operation at a viewer seating position. The main control unit includes a control client and a data client. The main control unit includes a media output device for playing the forwarded media content. The main control unit is removed from the portable device. Between the control server and the control client, a first local network connection is established to transmit control signals between the main control unit and the portable device. A second local area network interconnect is established between the data clients and the data server to transfer media content signals between the master control unit and the portable device. The first local area network link has a lower transfer volume capacity than the second local area network link and a shorter latency for the control signals than for the media content signal over the second local area network link. At a main control unit, user input data is received. The user input data relates to the request of a user to change the playing of the forwarded media content. The control client generates the control signals indicative of the user's request and transmits the control signals to the control server using the first local network coupling. The control server provides instructions to the data server to execute the user request. The data server synchronizes with the content cache to fetch media data used to execute the instructions. The fetched media data is transferred from the data server to the data client using the second local area network link. The media data is output to the user via the media output device.
KURZBESCHREIBUNG DER ZEICHNUNGENBRIEF DESCRIPTION OF THE DRAWINGS
1 ist eine bildliche Darstellung eines Schnittstellensystems zwischen einem tragbaren Gerät und einem Fahrzeug. 1 Figure 11 is a pictorial representation of an interface system between a portable device and a vehicle.
2 ist ein Blockdiagramm eines Schnittstellensystems zwischen einem tragbaren Gerät und einem Fahrzeug. 2 Figure 10 is a block diagram of an interface system between a portable device and a vehicle.
3 ist ein Blockdiagramm eines Übertragungsschemas, das einen einzigen Kommunikationskanal mit sämtlicher Kommunikation in die gleiche Richtung verwendet. 3 Figure 4 is a block diagram of a transmission scheme using a single communication channel with all communication in the same direction.
4 ist ein Blockdiagramm eines Übertragungsschemas unter Verwendung eines einzigen Kommunikationskanals mit Kommunikation in entgegengesetzte Richtungen. 4 Figure 4 is a block diagram of a transmission scheme using a single communication channel with communication in opposite directions.
5 ist ein Blockdiagramm eines Übertragungsschemas unter Verwendung getrennter Kommunikationskanäle. 5 Fig. 10 is a block diagram of a transmission scheme using separate communication channels.
6 ist ein Blockdiagramm eines Übertragungsschemas unter Verwendung eines prioritätsgesteuerten einzigen Kommunikationskanals. 6 FIG. 10 is a block diagram of a transmission scheme using a priority-driven single communication channel.
7 ist ein Flussdiagramm für ein Verfahren für den Protokollbetrieb zwischen dem tragbaren Gerät und der Haupteinheit. 7 FIG. 10 is a flow chart for a protocol operation method between the portable device and the main unit. FIG.
GENAUE BESCHREIBUNGPRECISE DESCRIPTION
In 1 und 2 ist eine bildliche Darstellung und ein Blockdiagramm eines Schnittstellensystems zwischen einem tragbaren Gerät und einem Fahrzeug gezeigt. Das System enthält ein Fahrzeugschnittstellensystem 12, das mit einem tragbaren Gerät 14 kommuniziert. Das tragbare Gerät 14 wird von einem Benutzer des Fahrzeugs mitgeführt und ist zum Speichern und Ausführen einer Vielzahl von Anwendungen in der Lage, die Video und Audio verwenden und an den Bildschirm der Fahrzeugschnittstellenvorrichtung 12 ausgegeben werden. Beispiele für ein tragbares Gerät 14 umfassen Smartphones, Netbooks, E-Reader, einen persönlichen digitalen Assistenten (PDA) und jedes andere Gerät, das eine Vielzahl von Video- und Audioanwendungen laufenlassen kann, sind aber nicht darauf beschränkt. Die Vielzahl von Video- und Audioanwendungen 16 umfasst Filme, Musik, DVD, Telefon, Navigation, Wettervorhersage, Leseprogramme, Email und das Internet, ist aber nicht darauf beschränkt.In 1 and 2 Figure 4 is a pictorial representation and block diagram of an interface system between a portable device and a vehicle. The system includes a vehicle interface system 12 that with a portable device 14 communicated. The portable device 14 is carried by a user of the vehicle and is capable of storing and executing a variety of applications that use video and audio and to the screen of the vehicle interface device 12 be issued. Examples of a portable device 14 These include, but are not limited to, smartphones, netbooks, e-readers, a personal digital assistant (PDA), and any other device that can run a variety of video and audio applications. The variety of video and audio applications 16 includes, but is not limited to, movies, music, DVD, telephone, navigation, weather forecasting, reading programs, email, and the Internet.
Der Zweck des Schnittstellensystems zwischen einem tragbaren Gerät und einem Fahrzeug besteht darin, es einem Benutzer zu ermöglichen, die Vielzahl von Video und Audioanwendungen durch das Fahrzeugschnittstellensystem 12 auszuführen. Das fahrzeugbasierte Schnittstellensystem 12 enthält mindestens ein Mensch/Maschine-Schnittstellengerät (HMI-Gerät) 16. Das HMI-Gerät 16 kann eine doppelte Funktionalität aufweisen, bei der ein Videobildschirm 18 ein Video oder andere Graphiken anzeigt und das HMI-Gerät 16 außerdem Benutzereingaben annimmt. Ein Beispiel für ein HMI-Gerät 16, das eine doppelte Funktionalität enthält, ist die Haupteinheit eines Fahrzeugs, die den Videobildschirm 18 zum Anzeigen eines Videos (z. B. ein Navigationsbildschirm) und dedizierte Taster 20 und/oder einen berührungsempfindlichen Bildschirm 22 zum Empfangen der Auswahl des Benutzers enthält. Der Zweck des Videobildschirms 18 besteht darin, das Video anzuzeigen, das typischerweise auf dem tragbaren Gerät 14 zu sehen ist. Für die hier beschriebenen Zwecke ist ein Video jede Art von Bild (statisch oder dynamisch), die an dem Videobildschirm 18 angezeigt werden kann. Beispielsweise benutzen viele Smartphones heutzutage berührungsempfindliche Bildschirme, bei denen die graphische Benutzerschnittstelle an dem Bildschirm angezeigt wird und Auswahlen getätigt werden, indem entweder eine Anwendung/ein Symbol auf dem Bildschirm berührt wird oder ein Zeiger verwendet wird, um zu der Anwendung/dem Symbol zu navigieren. Zudem können Videos wie etwa ein Film und das Internet an dem Videobildschirm 18 angezeigt werden. Die graphische Benutzerschnittstelle enthält Filme, Internet und graphische Symbole zur Auswahl von Softwareanwendungen, ist aber nicht darauf beschränkt.The purpose of the interface system between a portable device and a vehicle is to allow a user to access the plurality of video and audio applications through the vehicle interface system 12 perform. The vehicle-based interface system 12 contains at least one human / machine interface device (HMI device) 16 , The HMI device 16 can have dual functionality in which a video screen 18 displays a video or other graphics and the HMI device 16 also accepts user input. An example of an HMI device 16 , which contains a dual functionality, is the main unit of a vehicle that controls the video screen 18 to display a video (eg a navigation screen) and dedicated buttons 20 and / or a touch-sensitive screen 22 to receive the selection of the user. The purpose of the video screen 18 is to display the video, typically on the portable device 14 you can see. For the purposes described here, a video is any type of image (static or dynamic) that is on the video screen 18 can be displayed. For example, many smartphones today use touch-sensitive screens in which the graphical user interface is displayed on the screen and selections are made by either touching an application / icon on the screen or using a pointer to navigate to the application / icon , In addition, videos such as a movie and the Internet can be displayed on the video screen 18 are displayed. The graphical user interface includes, but is not limited to, movies, internet, and graphical icons for selecting software applications.
Das HMI-Gerät 20 zeigt auf einem Bildschirm das Video oder andere Graphiken an, die typischerweise auf dem tragbaren Gerät zu sehen sind. Dies ermöglicht, dass der Benutzer, der das angezeigte Video betrachtet, bestimmte Slave-Soft-wareanwendungen über die Bedienelemente des Schnittstellensystems 12 steuert, statt das tragbare Gerät 14 zu benutzen. Die Anwendung vom tragbaren Gerät 14 kann aktiviert werden, indem ein Menü an dem Videobildschirm 18 des HMI-Geräts 16 zur Auswahl einer Anwendung angezeigt wird. Wenn der Videobildschirm 18 ein berührungsempfindlicher Bildschirm 22 ist, dann kann eine Auswahl von dem berührungsempfindlichen Bildschirm 22 aus getroffen werden, oder wenn der Videobildschirm 18 kein berührungsempfindlicher Bildschirm ist, dann können physikalische Bedienelemente 20 (Taster, Knöpfe, Hebel usw.), etwa diejenigen, die man am Lenkrad vorfindet, umkonfiguriert werden, um den Benutzer durch die Anwendungen zu leiten, die an dem Bildschirm des HMI-Geräts 16 angezeigt werden.The HMI device 20 Displays on a screen the video or other graphics typically seen on the portable device. This allows the user viewing the video displayed to perform certain slave software applications through the interface system controls 12 controls, instead of the portable device 14 to use. The application of the portable device 14 can be activated by a menu on the video screen 18 of the HMI device 16 to select an application. When the video screen 18 a touch-sensitive screen 22 is, then a selection of the touch-sensitive screen 22 be taken out of, or if the video screen 18 is not a touch-sensitive screen, then physical controls 20 (Buttons, buttons, levers, etc.), such as those found on the steering wheel, are reconfigured to guide the user through the applications that are on the screen of the HMI device 16 are displayed.
3 veranschaulicht eine Anwendung, bei der Datenstrom- und Steuerungssignale über das gleiche Kommunikationsmedium übermittelt werden. Es gibt drei Arten von Datenströmen: einen Videostrom (V) mit hohem Volumen, einen Audiostrom (A) mit mittlerem Volumen und einen Steuerungsstrom (C) mit niedrigem Volumen. Alle drei Volumenströme stammen von dem mobilen Gerät für das Anzeigegerät unter Verwendung eines WiFi-Kanals 22. Datenpakete von Video-, Audio- und Steuerungsströmen werden in eine einzige WiFi-Warteschlange beruhend auf ihrem Erzeugungszeitpunkt eingefügt. Als Folge wird eine Latenzzeit begrenzt, die der Steuerungsstrom erfährt, da die Pakete von den drei Strömen über einen gewichteten Round-Robin-Prozess 24 gesendet werden. 3 illustrates an application in which data stream and control signals are communicated over the same communication medium. There are three types of data streams: a high volume video stream (V), a medium volume audio stream (A) and a low volume control stream (C). All three volume streams come from the mobile device for the display device using a WiFi channel 22 , Data packets from video, audio and control streams are inserted into a single WiFi queue based on their creation timing. As a result, a latency time is experienced that the control stream experiences as the packets from the three streams are weighted round-robin 24 be sent.
4 veranschaulicht ein weiteres Übertragungsschema, bei dem zwei UDP-Ports (A) und (V) zur Audio- und Videoübertragung verwendet werden können und ein TCP-Port (C) für Steuerungssignale auf dem gleichen WiFi-Kanal 22 verwendet werden kann. Der Hauptkanal befördert die Video-(V)- und Audio-(A)-Massendaten, wodurch der WiFi-Kanal 22 mit hoher Auslastung dominiert wird. Der Rückwärtssteuerungsstrom (C) verfügt aufgrund des gleichen Rücksetzmechanismus über wenige Gelegenheiten zum Zugriff auf den WiFi-Kanal 22, was zu einer langen Latenzzeit für Steuerungsaktionen führt. Wie allgemein bei 26 gezeigt ist, tritt eine Kollision der Übertragung von Datenpaketen und Steuerungssignalen in entgegengesetzte Richtungen über den gleichen Kanal hinweg auf. Als Folge ist bei der Verwendung dieses Verfahrens das Latenzzeitverhalten ein Hauptproblem. 4 illustrates another transmission scheme in which two UDP ports (A) and (V) can be used for audio and video transmission and a TCP port (C) for control signals on the same WiFi channel 22 can be used. The main channel carries the video (V) and audio (A) mass data, eliminating the WiFi channel 22 is dominated by high utilization. The reverse control stream (C) has few opportunities to access the WiFi channel due to the same reset mechanism 22 , resulting in a long latency for control actions. As is generally the case 26 2, a collision of transmission of data packets and control signals occurs in opposite directions across the same channel. As a result, latency behavior is a major concern when using this method.
5 veranschaulicht ein erstes Übertragungsschema zum Überwinden der vorstehend beschriebenen Defizite. Ein Klientengerät, etwa eine Fahrzeughaupteinheit, ist allgemein bei 30 gezeigt. Das Klientengerät 30 enthält einen Echtzeittransportprotokollklienten (RTP-Klienten) 32, einen Desktopfernsteuerungsprotokoll-Klienten (RDP-Klienten) 34, einen Echtzeit-Streamingprotokoll-Klienten (RSTP-Klienten) 36 und ein Zeitsynchronisationsmodul 38 (z. B. ein Zeitsynchronisationsgerät oder ein softwarebasiertes Modul). Der RTP-Klient 32 verwendet ein RTP-Protokoll, das ein standardisiertes Paketformat zum Übertragen von Video und Audio definiert. RTP wird in Kommunikations- und Unterhaltungssystemen verwendet, die Streaming Media und andere Video/Audio-Telekommunikationen verwenden, und ist primär für eine Echtzeitübertragung der Video- und Audiodaten von Endpunkt zu Endpunkt entworfen. 5 illustrates a first transmission scheme for overcoming the deficiencies described above. A client device, such as a main vehicle unit, is generally included 30 shown. The client device 30 contains a real-time transport protocol client (RTP client) 32 , a Desktop Remote Control Protocol Client (RDP Client) 34 , a real-time streaming protocol client (RSTP client) 36 and a time synchronization module 38 (eg a time synchronization device or a software-based module). The RTP client 32 uses an RTP protocol that defines a standardized packet format for transmitting video and audio. RTP is used in communication and entertainment systems that use streaming media and other video / audio telecommunications, and is primarily designed for real-time transmission of end-to-end video and audio data.
Der RSTP-Klient 36 verwendet ein RSTP-Protokoll, das ein Netzwerksteuerungsprotokoll definiert, das von Unterhaltungs- und Kommunikationssystemen zum Steuern von Streaming-Media-Servern verwendet wird. Die Lieferung der Streaming-Daten selbst ist keine Aufgabe des RSTP-Protokolls. Stattdessen wird das RSTP-Protokoll verwendet, um die Sitzungen an den Endpunkten herzustellen und zu steuern und um eine Echtzeitsteuerung des Abspielens der reproduzierten Medien zu steuern. Derartige Befehle umfassen Pause, Abspielen, Stopp, schneller Vorlauf und schneller Rücklauf, sind aber nicht darauf beschränkt. Das RSTP arbeitet in Verbindung mit RTP zur Lieferung von Streaming Media.The RSTP client 36 uses an RSTP protocol that defines a network control protocol used by entertainment and communication systems to control streaming media servers. The delivery of the streaming data itself is not a task of the RSTP protocol. Instead, the RSTP protocol is used to establish and control the sessions at the endpoints and to control real time control of the playback of the reproduced media. Such commands include, but are not limited to, pause, play, stop, fast forward, and fast reverse. The RSTP works in conjunction with RTP to deliver streaming media.
Der RDP-Klient 34 verwendet ein Protokoll, das einem Benutzer eine graphische Schnittstelle an einem anderen Betrachtungsgerät über eine Netzwerkverbindung darbietet. Dies umfasst, dass der Benutzer ein RDP-Klientenprotokoll an einem ersten kommunizierenden Gerät verwendet, während ein anderes kommunizierendes Gerät ein RDP-Serverprotokoll verwendet. Die von RDP angebotene Funktionalität kann auch durch andere Protokollkomponenten erreicht werden, etwa das virtuelle Netzwerk-Computing (VNC).The RDP client 34 uses a protocol that presents a user with a graphical interface on another viewing device via a network connection. This involves the user using an RDP client protocol on a first communicating device while another communicating device is using an RDP server protocol. The functionality offered by RDP can also be achieved by other protocol components, such as Virtual Network Computing (VNC).
Das Zeitsynchronisationsmodul 38 wird als Zeitstempel verwendet, um den Klienten beim Synchronisieren von Kommunikationen und Operationen mit anderen kommunizierenden Entitäten zu unterstützen.The time synchronization module 38 is used as a timestamp to assist the client in synchronizing communications and operations with other communicating entities.
Ein Servergerät, etwa ein tragbares Gerät, ist allgemein bei 40 dargestellt. Das Servergerät 40 enthält einen Echtzeittransportprotokoll-Server (RTP-Server) 42, einen Desktopfernsteuerungsprotokoll-Server (RDP-Server) 44, einen Echtzeit-Streaming-Protokoll-Server (RSTP-Server) 46, ein Zeitsynchronisationsmodul 48 und einen Inhalts-Cache 50. Alle diese Servergeräte weisen eine analoge Funktionalität wie vorstehend für die Klientengeräte beschrieben auf, mit der Ausnahme, dass die Funktionalität für das Servergerät 40 bereitgestellt ist. Der Inhalts-Cache 50 speichert die Video- und Audiodaten, von dem Servergerät 40 an das Klientengerät 30 geliefert werden sollen.A server device, such as a portable device, is generally included 40 shown. The server device 40 Contains a real-time transport protocol server (RTP server) 42 , a remote desktop control protocol server (RDP server) 44 , a real-time streaming protocol server (RSTP server) 46 , a time synchronization module 48 and a content cache 50 , All of these server devices have analog functionality as described above for the client devices, with the exception that the functionality for the server device 40 is provided. The content cache 50 stores the video and audio data from the server device 40 to the client device 30 should be delivered.
In 5 ist ein WiFi-Kanal 52 ein Datenkommunikationsmedium zur Übermittlung nur von Video- und Audiodaten vom Servergerät 40 an das Klientengerät 30. Der RTP-Server 42 kommuniziert mit dem RTP-Klienten 32, um das Kommunikationsprotokoll zur Lieferung des Video- und/oder Audioinhalts vom Servergerät 40 an das Klientengerät 30 bereitzustellen, welcher dann an einem Videobildschirm des Klientengeräts 30 angezeigt werden kann.In 5 is a WiFi channel 52 a data communication medium for transmitting only video and audio data from the server device 40 to the client device 30 , The RTP server 42 communicates with the RTP client 32 to the communication protocol for delivering the video and / or audio content from the server device 40 to the client device 30 which is then displayed on a video screen of the client device 30 can be displayed.
Ein zweites Kommunikationsmedium, das von dem WiFi-Kanal 52 getrennt ist, ist allgemein bei 54 gezeigt. Das Kommunikationsmedium 54 kann eine Bluetooth-, USB-, und Nahfeldkommunikation umfassen, ist aber nicht darauf beschränkt. Das Kommunikationsmedium 54 wird verwendet, um Steuerungssignale zu übertragen, die von dem Benutzer in das Klientengerät 30 eingegeben werden. Das Kommunikationsmedium liefert die Steuerungssignale an das Servergerät 40. Die Steuerungssignale stellen Steuerungsaktionen zum Steuern des Streamings von Video und/oder Audio, das von dem Servergerät 30 geliefert wird, bereit. Beispielsweise können Steuerungssignale wie etwa Pause, Abspielen, Rücklauf, schneller Vorlauf in das HMI-Gerät des Servergeräts 30 eingegeben werden und Steuerungssignale werden dann über das Kommunikationsmedium 54 übertragen, um Steuerungsaktionen des Servergeräts 40 zu befehlen. Der RDP-Klient 34, der RTSP-Klient 36 und das Zeitsynchronisationsmodul 38 arbeiten zusammen, um Steuerungssignale zur gemeinsamen und rechtzeitigen Kommunikation mit dem RDP-Server 44, dem RTSP-Server 46 und dem Zeitsynchronisationsmodul 48 zu übertragen. Der RTP-Server 42 empfängt die Befehle vom RDP-Server 44 und Daten vom Inhalts-Cache werden anschließend vom RTP-Server 42 an den RTP-Klienten 32 übermittelt, um das Video und Audio über den Videobildschirm des Klientengeräts anzuzeigen.A second communication medium coming from the WiFi channel 52 is separate, is generally at 54 shown. The communication medium 54 may include, but is not limited to, Bluetooth, USB, and near field communication. The communication medium 54 is used to transmit control signals from the user to the client device 30 be entered. The communication medium supplies the control signals to the server device 40 , The control signals provide control actions for controlling the streaming of video and / or audio from the server device 30 is delivered, ready. For example, control signals such as pause, play, rewind, fast forward to the HMI device of the server device 30 and control signals are then transmitted via the communication medium 54 transferred to control actions of the server device 40 to order. The RDP client 34 , the RTSP client 36 and the time synchronization module 38 work together to provide control signals for common and timely communication with the RDP server 44 , the RTSP server 46 and the time synchronization module 48 transferred to. The RTP server 42 receives the commands from the RDP server 44 and content cache data is then retrieved from the RTP server 42 at the RTP client 32 to display the video and audio via the client device video screen.
In 6 wird bei einem WiFi-Kanal eine virtuelle Trennung verwendet. Es werden zwei virtuelle Datenströme mit unterschiedlichen Priorisierungen über den gleichen WiFi-Kanal 52 verwendet. Das Klientengerät 30 und das Servergerät 40 verwenden die gleichen Klientengeräte bzw. Servergeräte wie in 4 beschrieben. Der Video- und Audiostrom vom Servergerät 40 an das Klientengerät 30 arbeitet mit Hilfe eines WiFi-Sendeschemas 56 mit niedriger Priorität. Das Steuerungssignal vom Klientengerät 30 an das Servergerät 40 arbeitet mit Hilfe eines WiFi-Sendeschemas 58 mit hoher Priorität. Eine Priorisierung über den WiFi-Kanal kann bewerkstelligt werden, indem ein verbesserter verteilter Kanalzugriff (EDCA von Enhanced Distributed Channel Access) verwendet wird. Bei EDCA weist ein Verkehr mit hoher Priorität eine höhere Wahrscheinlichkeit auf, gesendet zu werden, als ein Verkehr mit niedriger Priorität. Das heißt, dass ein Datenpaket mit einem Verkehr mit hoher Priorität im Mittelwert etwas weniger wartet, bevor es sein Paket sendet, als eine Datenbotschaft mit einem Verkehr mit niedriger Priorität. Dieser Prozess wird bewerkstelligt, indem ein kürzeres Konkurrenzfenster (CW) und ein kürzerer Entscheidungsraum zwischen Rahmen (AIFS) für Pakete mit höherer Priorität verwendet werden. Die genauen Werte hängen von der physikalischen Schicht ab, die zum Übertragen der Daten verwendet wird. Zudem stellt EDCA einen konkurrenzfreien Zugriff auf den Kanal für eine Zeitspanne bereit, die Übertragungsgelegenheit (TXOP) genannt wird. Als Folge wird das Steuerungssignal immer eine höhere Priorität als die Video- oder Audiodaten aufweisen, die übertragen werden, da das Steuerungssignal die Steuerungsaktion übermittelt, die mit Bezug auf die Video- und Audiodaten ergriffen werden soll. Eine ähnliche Funktionalität des Wiedergebens eines Kanals mit hoher Priorität kann auch über die Verwendung von Protokollkomponenten einer oberen Schicht erreicht werden, etwa Varianten des Übertragungssteuerungsprotokolls (TCP), welche das Rücksetzfenster von TCP-Protokollen manipulieren. In 6 a virtual channel is used on a WiFi channel. There are two virtual data streams with different priorities over the same WiFi channel 52 used. The client device 30 and the server device 40 use the same client devices or server devices as in 4 described. The video and audio stream from the server device 40 to the client device 30 works with the help of a WiFi transmission scheme 56 with low priority. The control signal from the client device 30 to the server device 40 works with the help of a WiFi transmission scheme 58 with high priority. Prioritization over the WiFi channel can be accomplished using enhanced Distributed Channel Access (EDCA) enhanced channel access. In EDCA, high priority traffic is more likely to be sent than low priority traffic. That is, a data packet with high-priority traffic averages less before it sends its packet than a low-priority traffic message. This process is accomplished by using a shorter contention window (CW) and a shorter arbitration space between frames (AIFS) for higher priority packets. The exact values depend on the physical layer used to transfer the data. In addition, EDCA provides contention-free access to the channel for a period of time called transmission opportunity (TXOP). As a result, the control signal will always have a higher priority than the video or audio data being transmitted because the control signal conveys the control action to be taken with respect to the video and audio data. Similar functionality of rendering a high priority channel can also be achieved through the use of upper layer protocol components, such as Transmission Control Protocol (TCP) variants, which manipulate the TCP protocol reset window.
7 veranschaulicht ein Ablaufdiagramm des Protokollbetriebs zwischen dem tragbaren Gerät (d. h. Servergerät) und dem Haupteinheitsgerät (d. h. Klientengerät). Bei Block 60 wird bestimmt, welche Technik verwendet werden soll, um Steuerungssignale vom Haupteinheitsgerät an das tragbare Gerät zu liefern. Die Bestimmung kann beruhend auf einem intelligenten System durchgeführt werden, das entscheiden wird, ob separate physikalische Medien oder priorisierte Kommunikationen über den gleichen WiFi-Kanal verwendet werden sollen, oder sie kann von dem Benutzer gewählt werden. Beispielsweise kann die Bestimmung auf der Bandbreite des WiFi-Kanals oder einer anderen Art von Wechselwirkung beruhen, die die Verwendung einer jeweiligen Technik begünstigen wird. 7 Figure 13 illustrates a flow chart of the protocol operation between the portable device (ie, server device) and the main unit device (ie, client device). At block 60 determine which technique should be used to provide control signals from the main unit device to the portable device. The determination may be made based on a smart system that will decide whether to use separate physical media or prioritized communications over the same WiFi channel, or it may be chosen by the user. For example, the determination may be based on the bandwidth of the WiFi channel or other type of interaction that will favor the use of a particular technique.
In Ansprechen auf eine Bestimmung, dass die Techniken mit zwei separaten Kommunikationskanälen verwendet werden sollen, werden bei Block 61 zwei separate Kommunikationskanäle erzeugt. Der Video- und Audiokanal kann ein WiFi-Kommunikationsmedium verwenden, um das Video und Audio von dem tragbaren Gerät an das Haupteinheitsgerät zu liefern. Es wird ein zweiter Kommunikationskanal identifiziert, um ein Steuerungsaktionssignal, das von einem Benutzer an der Hauptsteuerungseinheit eingegeben wurde, an das tragbare Gerät zu übermitteln. Von dem zweiten Kanal verwendete Kommunikationsmedien können Bluetooth, USB und NFC umfassen, sind aber nicht darauf beschränkt.In response to a determination that the techniques should be used with two separate communication channels, at Block 61 creates two separate communication channels. The video and audio channel may use a WiFi communication medium to deliver the video and audio from the portable device to the main unit unit. A second communication channel is identified to communicate a control action signal input from a user to the main control unit to the portable device. Communication media used by the second channel may include, but is not limited to, Bluetooth, USB, and NFC.
Bei Block 62 werden zwischen dem tragbaren Gerät und der Hauptsteuerungseinheit eine erste lokale Netzwerkkopplung und eine zweite lokale Netzwerkkopplung hergestellt. Die erste lokale Netzwerkkopplung wird verwendet, um Steuerungssignale zwischen dem tragbaren Gerät und der Hauptsteuerungseinheit zu übertragen. Die zweite lokale Netzwerkkopplung wird verwendet, um Medieninhaltssignale zwischen den jeweiligen Geräten zu übertragen. Die erste lokale Netzwerkkopplung weist eine niedrigere Volumenkapazität als die zweite lokale Netzwerkkopplung und eine kürzere Latenzzeit für die Steuerungssignale als für den Medieninhalt über die zweite lokale Netzwerkkopplung auf. Daher können die erste und zweite lokale Netzwerkkopplung separate Transportentitäten enthalten (wie in Block 61 beschrieben) oder das erste und zweite lokale Netzwerk können separate virtuelle Kanäle auf der gleichen Transportentität mit unterschiedlichen Prioritäten enthalten (wie im Block 63 beschrieben). Die beiden lokalen Netzwerkkopplungen (z. B. Kommunikationskanäle) werden für zusammenwirkende Kommunikationen zwischen der Hauptsteuerungseinheit und dem tragbaren Gerät synchronisiert. Nach der Synchronisation geht die Routine zu Block 64 weiter.At block 62 A first local network link and a second local network link are established between the portable device and the main controller. The first local area network coupling is used to transmit control signals between the portable device and the main control unit. The second local area network link is used to transfer media content signals between the respective devices. The first local area network link has a lower volume capacity than the second local area network link and a shorter latency for the control signals than for the media content over the second local area network link. Therefore, the first and second local area network links can contain separate transport entities (as in block 61 described) or the first and second local area networks may contain separate virtual channels on the same transport entity with different priorities (as in the block 63 described). The two local network links (eg, communication channels) are synchronized for cooperative communications between the master controller and the portable device. After synchronization, the routine goes to block 64 further.
Bei Block 64 werden Protokolloperationen eingeleitet, um Video- und Audiodaten vom tragbaren Gerät an die Hauptsteuerungseinheit zu liefern und zu steuern. Die in den Blöcken 64–71 beschriebenen Protokolloperationen werden unabhängig davon verwendet, ob die zwei separaten Kommunikationsmedien verwendet werden oder ob die Technik mit der priorisierten einzigen WiFi-Kommunikation verwendet wird. Bei Block 64 empfängt das Haupteinheitsgerät eine Steuerungsaktion, die von einem Benutzer eingegeben wird. Die Steuerungsaktion ist eine Anforderung zum Ausführen einer gewünschten Operation der Anwendung, die von dem tragbaren Gerät an die Hauptsteuerungseinheit geliefert wird oder geliefert werden soll. Es wird ein RDP/RTSP-Aktionssignal erzeugt, das die gewünschte Operation betrifft. Die gewünschte Operation kann beispielsweise Start, Stopp, Pause, Rücklauf und Schnellvorlauf umfassen, ist aber nicht darauf beschränkt.At block 64 Log operations are initiated to supply and control video and audio data from the portable device to the main control unit. The in the blocks 64 - 71 The protocol operations described are used regardless of whether the two separate communication media are being used or whether the technique with the prioritized single WiFi communication is being used. At block 64 The main unit device receives a control action input from a user. The control action is a request to perform a desired operation of the application to be delivered from the portable device to the main control unit or to be delivered. An RDP / RTSP action signal is generated which relates to the desired operation. The desired operation may include, but is not limited to, start, stop, pause, rewind, and fast forward.
Bei Block 65 startet der RDP/RSTP-Klient die Operation des RTP-Klienten oder lässt sie pausieren und holt aktuelle Metainformationen vom RTP-Klienten. Die aktuellen Metainformationen können den aktuellen Status der Operation und einen Zeitstempel umfassen, der verwendet wird, um Ereignisse zu synchronisieren und eine Zeitbasis herzustellen.At block 65 The RDP / RSTP client starts or pauses the operation of the RTP client and retrieves up-to-date meta-information from the RTP client. The current meta-information may include the current status of the operation and a timestamp used to synchronize events and establish a timebase.
Bei Block 66 übermittelt der RDP/RSTP-Klient die Steuerungsaktion über das gewünschte Kommunikationsmedium, das bei Block 50 bestimmt wurde, und instruiert den RDP/RTSP-Server über die gewünschte Operation zusammen mit den Statusinformationen und dem Zeitstempel.At block 66 the RDP / RSTP client transmits the control action over the desired communication medium, which is at Block 50 has been determined and instructs the RDP / RTSP server about the desired operation along with the status information and timestamp.
Bei Block 67 leitet der RDP/RTSP-Server die angeforderte gewünschte Operation, den Status der Operationen und den Zeitstempel an den RTP-Server weiter.At block 67 The RDP / RTSP server forwards the requested desired operation, the status of the operations, and the timestamp to the RTP server.
Bei Block 68 liefert der RTP-Server Anweisungen an den Inhalts-Cache bezüglich der gewünschten Operation zusammen mit Zeitstempelinformationen. Der Inhalts-Cache speichert alle Video- und Audiodaten im tragbaren Gerät.At block 68 The RTP server provides instructions to the content cache for the desired operation along with timestamp information. The content cache stores all video and audio data in the portable device.
Bei Block 69 ”streamt” der Inhalts-Cache die Video- und Audiodaten, welche die gewünschte Operation betreffen, an den RTP-Server.At block 69 The content cache "streams" the video and audio data concerning the desired operation to the RTP server.
Bei Block 70 überträgt der RTP-Server die Video- und Audiodaten, die von dem Inhalts-Cache ”gestreamt” werden, über das Video- und Audio-WiFi-Kommunikationsmedium an den RTP-Klienten.At block 70 The RTP server transmits the video and audio data "streamed" from the content cache over the video and audio WiFi communication medium to the RTP client.
Bei Block 71 empfängt der RTP-Klient die Video- und Audiodaten und das Haupteinheitgerät gibt die Video- und/oder Audiodaten an einem Videobildschirm des Haupteinheitsgeräts aus. Danach wird zu Block 64 zurückgekehrt.At block 71 The RTP client receives the video and audio data and the main unit outputs the video and / or audio data on a video screen of the main unit unit. After that becomes block 64 returned.
Wieder mit Bezug auf Block 60 werden dann, wenn bestimmt wird, dass der priorisierte WiFi-Kanal verwendet wird, zwei virtuelle Datenleitungen mit unterschiedlicher Priorisierung auf den gleichen WiFi-Kanal erzeugt. Video- und Audiodaten vom RTP-Server des tragbaren Geräts werden unter Verwendung eines WiFi-Sendeschemas mit niedriger Priorität an die Hauptsteuerungseinheitsbasis geliefert. Steuerungssignale von dem RDP/RTSP-Klienten der Hauptsteuerungseinheit werden unter Verwendung eines WiFi-Sendeschemas mit hoher Priorität an das tragbare Gerät geliefert. Als Folge werden Steuerungsaktionssignale mit einer höheren Priorität versehen, um Daten über den WiFi-Kanal zu übertragen, als zum Übertragen der Video- und Audiodaten. Nachdem die virtuellen Datenleitungen über den gleichen WiFi-Kanal erzeugt sind, geht die Routine zu Block 64 weiter, bei dem Protokolloperationen zum Übertragen von Steuerungssignalen und Daten ausgeführt werden.Again referring to block 60 For example, if it is determined that the prioritized WiFi channel is being used, then two virtual data lines with different prioritization are generated on the same WiFi channel. Video and audio data from the RTP server of the portable device are delivered to the main control unit base using a low priority WiFi transmission scheme. Control signals from the RDP / RTSP client of the master control unit are delivered to the portable device using a high priority WiFi transmission scheme. As a result, control action signals are given a higher priority to transmit data over the WiFi channel than to transmit the video and audio data. After the virtual data lines are generated over the same WiFi channel, the routine goes to block 64 continue, where protocol operations are performed to transfer control signals and data.
Obwohl bestimmte Ausführungsformen der vorliegenden Erfindung im Detail beschrieben wurden, wird der Fachmann auf dem Gebiet, das diese Erfindung betrifft, verschiedene alternative Konstruktionen und Ausführungsformen erkennen, um die Erfindung, die durch die folgenden Ansprüche definiert wird, in die Praxis umzusetzen.Although particular embodiments of the present invention have been described in detail, those familiar with the art to which this invention relates will recognize various alternative constructions and embodiments for practicing the invention as defined by the following claims.
